Statistiek & online marketing - Vuistregels
Zie ook Statistiek - Achtergrond (AdWords).
Wanneer heb je genoeg informatie verzameld om een besluit te kunnen nemen? Bijvoorbeeld om een campagne te stoppen, of juist uit te breiden? Dit artikel behandelt een aantal vuistregels die daarmee kunnen helpen.
Minimaal benodigde steekproeven
Richtlijnen AdAnlysis
AdAlysis geeft dit staatje van het aantal benodigde steekproeven voor statistische significantie:
Verkeer Impressies Klikken Conversies ------- ---------- ------- ---------- Weinig verkeer 350 300 7 Middelmatig verkeer 750 500 13 Veel verkeer 1.000 1.000 20 Bekende merknamen 100.000 10.000 100-1000
Het magische getal is 11
Ooit zei iemand me dat 11 het minimale aantal bemonsteringen was om significant te kunnen zijn. Dat past aardig in het schema hierboven. Als ik dit schema zou terugbrengen tot één regel, zou het wellicht worden:
Impressies Klikken Conversies ---------- ------- ---------- 750 500 11 500 11 --
Het is hierbij het zekerste om te kijken naar Conversies, en bij afwezigheid daarvan naar Klikken en Impressies.
Maar let op: Deze vuistregel is nogal zwak:
'Het magische getal is 200'
In okt. 2017 las ik ergens dat 200 het magische getal is qua significantie. Daar werd geen enkele context bij gegeven, dus het zegt weinig. Toch vind ik het een handig getal. Zie voorbeeld Amazon hiernaast.
10x-Marge
De vuistregel 10x-marge wil zeggen, dat je uitgaat van een bepaalde verwachtingswaarde, en die waardie 10x zo ruim neemt. Als de werkelijkheid dan nóg ongunstiger is → Stoppen.
Voorbeeld:
Je bent een zoekterm aan het testen: Vergelijkbare zoektermen hebben 4% conversie, dus één conversie per 25 klikken, en 4 conversies per 100 klikken. Dat is de verwachtingswaarde voor deze nieuwe term. Bij 200 klikken & 0 conversies: * Verwachtingswaarde: 8 conversies * "10x-marge": 0,8 conversies. Afgerond: 0 conversies * → Doorgaan Bij 250 klikken & 0 conversies: * Verwachtingswaarde: 10 conversies * "10x-marge": 1 conversie * → Stoppen. Je zit precies op het kantelpunt Bij 500 klikken & 0 conversies: * Verwachtingswaarde: 20 conversies * "10x-marge": 2 conversies * → Je had al bij 250 klikken moeten stoppen
Voorbeeld: Alle minimum-vuistregels bij elkaar
* CPC € 1,-- * Conversie-verwachtingswaarde: 2,5% -- 1 conversie/40 klikken * 10x-marge: 1 conversie/400 klikken Impressies Klikken Conversies Kosten Opmerkingen ---------- ------- ---------- ------- ------------ Hoge significantie vereist 200 € 8.000 Beetje theoretisch? Hoge significantie vereist 200 ? € 200 200 klikken & 0 of onbekend aantal conversies → welletjes Geen hoge significantie vereist 11 € 440 Geen hoge significantie vereist 11 ? € 11 10x-marge 400 ? € 400 400 klikken & 0 of onbekend aantal conversies → welletjes
Minimale periode
De factor tijd doet ook mee:
- Verkeer kan op maandag heel anders zijn dan op zaterdag → Minimaal een week meten
- De zomer is vaak afwijkend van de rest van het jaar, en het eind van het jaar kan ook flink afwijken → Minimaal 3 maanden meten?
Maxima
En nu de grote verrassing: Het is handig om ook maxima vast te stellen. Dat als die zijn bereikt, je niet langer wacht met actie.
Wat het eerste komt:
Maximaal drie maanden meten
In drie maanden tijd verandert de wereld flink. Dus langer meten is niet interessant, omdat de data aan het begin van die periode al flink belegen is
Maximaal 10x de minimale hoeveelheid data
Voorbeeld:
Je hebt een nieuwe AdGroup gemaakt, en wacht tot je minimaal 750 impressies, 500 kliks, en 11 conversies hebt. Na twee maanden heb je deze gegevens: * 60.000 Impressies * 4.000 Klikken * 0 Conversies. Stoppen of doorgaan?
→ Stoppen: Je heb qua impressies en klikken al meer dan 10x de minimale hoeveelheid data. Ook al is de campagne nog geen drie maanden actief: Het ging erom wat het eerste komt: 3 Maanden of 10x de minimaal benodigde steekproeven.
Minimaal evenveel steekproeven als zoekopdrachten per week of maand
Niet alleen moet je miminaal een week of een maand meten, maar daarnaast moet je ook minimaal het aantal steekproeven verzamelen, dat overeenkomt met het aantal keer dat de betreffende zoekterm in een week of maand gebruikt wordt:
If you have a brand term that is searched 1 million times a week, you should be using at least a million impressions as your minimum. For many brands, they aren’t searched 1 million times in a year, and should be happy with 10,000 – 100,000 impressions before they examine their confidence levels.
Practischer: Als ik drie maanden test, wil ik in ieder geval het aantal impressies hebben dat er gezocht wordt voor die zoekterm per maand (een maand lijkt me in deze context een aardige periode).
P.s.: Deze vuistregel pas ik nooit toe.
Parameter sensitivity
Een truuk om een gevoel te krijgen of een parameter gevoelig is: Wat gebeurt er met de uitkomst als je een parameter aanpast?
±1
In dit geval: Wat gebeurt er als je een parameter met 1 verhoogt of verlaagt? Voorbeeld:
10%
Vermoedelijk iets nauwkeuriger: Wat gebeurt er bij een verstoring van 10%?
In dit geval: Niet veel, want 6 conversies -/- 10% is 5,4 → 5. 2 Conversies +/+ 10% - 2,2 = 2.
Sitelink-evaluatie (casus nov. 2017)
Deze casus is zo interessant, dat ik 'm niet in zo'n sidebar behandel, maar hiero.
Conclusies
- Ondanks het beperkt aantal conversies, is dit voldoende om voorzichtige conclusies te trekken
- Kijk naar winst, niet naar tussenliggende zaken (helaas kun je hier geen eigen kolommen definieren in AdWords)
- Regels 5, 6 & 2 behouden. De overige pauzeren
- Nieuwe varianten schrijven van 5, 6 & 2.
Zoekterm-evaluatie (casus nov. 2017)
Uitgangspunten
- Dit zijn de statistieken van twee jaar looptijd
- De maximale conversiekosten per zoekterm zijn € 20. De eerste twee zoektermen zitten daar flink onder. De derde zoekterm heeft nog nooit geconverteerd
- Onderzoek heeft uitgewezen dat de derde zoekterm niet toevallig ook iets anders betekent. Hij is wat dat betreft dus relevant
Evaluatie
Maximaal drie maanden wachten
Na twee jaar nog geen conversie? Dan pauzeren: Het is duidelijk geen relevante zoekterm
Het magische getal 11
Er zijn ruim meer dan 11 klikken geweest, dus voldoende om desgewenst voorzichtige conclusies te trekken. Die conclusie zou zijn: pauzeren, want geen conversies. Aan de andere kant: De zoekterm op de tweede regel heeft slechts een conversie per 38 klikken -- Deze vuistregel is dus nogal zwak!