Statistiek & online marketing - Vuistregels
Wanneer heb je genoeg informatie om een conclusie te trekken? Bijvoorbeeld om een campagne te stoppen, of juist uit te breiden? Dit artikel behandelt een aantal vuistregels die daarmee kunnen helpen.
Verwachtingswaarde
De meeste vuistregels verder in dit artikel geloof ik steeds minder. Een vuistregel die ik daarintegen steeds meer vertrouw: Vergelijk met de verwachtingswaarde
Bij statistisch onderzoek wordt vaak uitgegaan van een nulhypothese H_0, bv. via een testcasus, om de verwachtingswaardes vast te stellen.
Bij gebruik aan specifiekere info, hanteer ik deze verwachtingswaardes tav. CVR:
- 4% - Da's wat een redelijke webshop haalt
- 1% - Ondergrens: Als een site slechter dan dit converteert, is er een probleem.
Meetperiode
Minimum
Afhankelijk van je business, de benodigde hoeveelheid data of het doel van de analyse, zal er zoiets zijn als een minimale meetperiode
- Soms een week
- Vaak 3 maanden
- Een paar jaar, indien je statistieken wilt hebben zonder seizoensinvloeden.
Maximum
Vaak zal er een maximale meetperiode zijn om data over te verzamelen: De wereld verandert in die tussentijd namelijk dermate dat je anders met te oude data werkt. Hoe lang die maximale periode is, verschilt van business tot business
- Als je een ijscotent hebt, en je ijsjes verkoopt in alleen de zomermaanden, is een minimale meetperiode van 6 maanden waarschijnlijk niet realistisch. Vermoedelijk is 3 maanden een maximum, en vaak waarschijnlijk zelfs korter
- Waspoeder is vermoedelijk een stabielere business, waarbij je gemakkelijk een veel langere meetperiode kunt hanteren.
Minimaal benodigde steekproeven (onzin)
Volgens mij klopt er geen fuck van deze getallen, omdat ze zonder context zijn gegeven. Daarnaast: Als je eenmaal snapt hoe je met binomialen werkt, is het zonde om te klooien met dit soort onzin.
Het magische getal is 11
Ooit zei iemand me dat 11 het minimale aantal bemonsteringen was om significant te kunnen zijn. Dat past aardig in het schema hierboven. Als ik dit schema zou terugbrengen tot één regel, zou het wellicht worden:
Impressies Klikken Conversies ---------- ------- ---------- 750 500 11 500 11 --
Het is hierbij het zekerste om te kijken naar Conversies, en bij afwezigheid daarvan naar Klikken en Impressies.
Maar let op: Deze vuistregel is nogal zwak:
Conclusies: Het aantal van 11 steekproeven is een minimum voordat je ook maar iets kunt concluderen. Net zoiets als "1 datapunt is geen data". Vaak zal 11 beslist onvoldoende zijn voor enige conclusies.
Het magische getal is 200
In okt. 2017 las ik ergens dat 200 het magische getal is qua significantie. Daar werd geen enkele context bij gegeven, dus het zegt weinig. Toch vind ik het een handig getal. Zie voorbeeld Amazon hiernaast.
Meer magische getallen
AdAlysis geeft dit staatje van het aantal benodigde steekproeven voor statistische significantie:
Verkeer Impressies Klikken Conversies ------- ---------- ------- ---------- Weinig verkeer 350 300 7 Middelmatig verkeer 750 500 13 Veel verkeer 1.000 1.000 20 Bekende merknamen 100.000 10.000 100-1000
10x-Marge
De vuistregel 10x-marge wil zeggen, dat je uitgaat van een bepaalde verwachtingswaarde, en die waardie 10x zo ruim neemt. Als de werkelijkheid dan nóg ongunstiger is → Stoppen.
Voorbeeld:
Je bent een zoekterm aan het testen: Vergelijkbare zoektermen hebben 4% conversie, dus één conversie per 25 klikken, en 4 conversies per 100 klikken. Dat is de verwachtingswaarde voor deze nieuwe term. Bij 200 klikken & 0 conversies: * Verwachtingswaarde: 8 conversies * "10x-marge": 0,8 conversies. Afgerond: 0 conversies * → Doorgaan Bij 250 klikken & 0 conversies: * Verwachtingswaarde: 10 conversies * "10x-marge": 1 conversie * → Stoppen. Je zit precies op het kantelpunt Bij 500 klikken & 0 conversies: * Verwachtingswaarde: 20 conversies * "10x-marge": 2 conversies * → Je had al bij 250 klikken moeten stoppen
Voorbeeld
* CPC € 1,--
* Conversie-verwachtingswaarde: 2,5% -- 1 conversie/40 klikken
* 10x-marge: 1 conversie/400 klikken
Impressies Klikken Conversies Kosten Opmerkingen
---------- ------- ---------- ------- ------------
Hoge significantie vereist 200 € 8.000 Beetje theoretisch?
Hoge significantie vereist 200 ? € 200 200 klikken & 0 of onbekend aantal conversies → welletjes
Geen hoge significantie vereist 11 € 440
Geen hoge significantie vereist 11 ? € 11
10x-marge 400 ? € 400 400 klikken & 0 of onbekend aantal conversies → welletjes
Parameter sensitivity
Een truuk om een gevoel te krijgen of een parameter gevoelig is: Wat gebeurt er met de uitkomst als je een parameter aanpast?
±1
In dit geval: Wat gebeurt er als je een parameter met 1 verhoogt of verlaagt? Voorbeeld:
 Amstelveen (€ 40/conversie) doet het veel beter dan Amsterdam (€ 227/conversie). En als ik 1 conversie optel bij Amsterdam, en er 1 aftrek bij Amstelveen, dan verandert er weinig: Amstelveen (€ 79/conversie) - Amsterdam (€ 195/conversie). Dus de parameter #conversies is beperkt gevoelig. Let op: Dit is slechts een vuistregel, en vaak een hele onzorgvuldige |
10%
Vermoedelijk iets nauwkeuriger: Wat gebeurt er bij een verstoring van 10%?
In dit geval: Niet veel, want 6 conversies -/- 10% is 5,4 → 5. 2 Conversies +/+ 10% - 2,2 = 2.
Zie ook
- Casussen (statistiek) - Inclusief voorbeelden vuistregels
Bronnen
Algemeen
Statistiek & AdWords
- http://www.chadsummerhill.com/ppc-text-ad-test-statistical-validity/
- http://www.chadsummerhill.com/statistically-significant-ppc-testing-google-math/
- http://www.marketingexperiments.com/blog/practical-application/top-14-free-marketing-tools-and-resources.html
- http://www.marketingexperiments.com/images/multifiles/Data-Sample-Statistically-Valid.pdf
- http://adalysis.com/blog/working-with-statistical-significance-how-confident-should-you-be-in-your-test-results/
- http://adalysis.com/blog/how-much-data-should-you-have-before-examining-an-ad-test-result
- http://adalysis.com/blog/do-you-have-insignificant-test-results-how-to-use-maximum-data-in-ad-testing/
- https://www.ppchero.com/statistical-significance-who-needs-it-hint-you-do/ - Eindelijk concreet!