Statistiek & online marketing - Vuistregels: verschil tussen versies

Uit De Vliegende Brigade
Naar navigatie springen Naar zoeken springen
 
(108 tussenliggende versies door dezelfde gebruiker niet weergegeven)
Regel 1: Regel 1:
−
[[file:20161025-1526.png|thumb|Een Google Campagnespecialist vond dat er genoeg statistieken waren om te concluderen dat de derde advertentie met een gerust hart gepauzeerd kan worden. Zijn vuistregels: (1) Alles onder 1% (ook in andere situaties) is een slecht teken (2) 150 tot 200 advertentievertoningen zonder klik? Pauzeren! (3) Het gaat om ''focus''. Daarom heb je amper universele regels]]
+
[[file:20161025-1526.png|thumb|Vuistregels '''<1%''', '''200 steekproeven''' & '''Duidelijk verschil''': Zie [[Casussen (statistiek)]] voor details]]
 +
[[file:20171024-0928.png|thumb|Vuistregels: '''200 steekproeven''', '''parameter sensitivity''' en '''10x-marge''': Zie [[Casussen (statistiek)]] voor details]]
 +
[[file:20170924-1441.png|thumb| [http://searchengineland.com/didnt-know-recent-quality-score-changes-259559 Searchengineland] zegt dat het zo'n '''100''' impressies vergt om een 'stabiele' QS te verkrijgen voor een zoekterm. [http://www.ppchero.com/ultimate-guide-to-adwords-quality-score/ PPC Hero] houdt het op enkele '''duizenden''' impressies]]
 +
[[file:20171120-2326.png|thumb|Verwachte conversie is 4,4%. Met een 10x-marge is dat ca. 1 conversie op 225 klikken. We zitten op 260 klikken en 3 conversies. De '''10x-marge-regel'''
 +
is vooral handig om te besluiten te stoppen als er geen conversies zijn. Dat punt zijn we hier gepasseerd. De '''200-steekproevenregel''' zegt dat we nu genoeg data hebben om conclusies te trekken. Die conclusie is dan, dat de CVR 1,15% is. Maar let op: Dat is voor de campagne als geheel. het is zonde om op grond daarvan conclusies te trekken, want het betreft nogal hetereogene data. Het is veel handiger om te evalueren per AdGroup, zodat je minder appels met peren vergelijkt. Dat brengt echter een nadeel met zich mee: Er is te weinig data beschikbaar op dat niveau. Welliswaar homogener, maar ook schaarser. Voorstellen aan de klant dat ze nog 10 jaar moeten wachten? Da's ook niet handig. Dan toch conclusies trekken op een meer geaggregeerd niveau? Niet per se: Deze campagne is pas een maand oud. Misschien wachten tot drie maanden, en alles waar je toch te weinig info over hebt, afkappen.]]
 +
[[file:20171124-2240.png|thumb|'''Sitelinks in actie:''' Zie [[Casussen (statistiek)]] voor details]]
  
−
Gebruik je gezonde verstand bij gebruik van deze vuistregels. Eén van de dingen die namelijk ontbreekt, is de benodigde ''significantie'': Als je wijzigingen aanbrengt aan een kritieke campagne, wil je meer zekerheid hebben, dan wanneer je een harvesting-campagne aanpast die net van de week is begonnen.
+
Wanneer heb je genoeg informatie om een conclusie te trekken? Bijvoorbeeld om een campagne te stoppen, of juist uit te breiden? Dit artikel behandelt een aantal ''vuistregels'' die daarmee kunnen helpen.  
  
−
== Minimale hoeveelheden steekproeven per soort zoekterm ==
+
== Verwachtingswaarde ==
  
−
=== AdAnlysis ===
+
De meeste vuistregels verder in dit artikel geloof ik steeds minder. Een vuistregel die ik daarintegen steeds meer vertrouw: ''Vergelijk met de verwachtingswaarde''
 +
 
 +
Bij statistisch onderzoek wordt vaak uitgegaan van een ''nulhypothese H_0'', bv. via een testcasus, om de verwachtingswaardes vast te stellen.
 +
 
 +
Bij gebruik aan specifiekere info, hanteer ik deze verwachtingswaardes tav. CVR:
 +
 
 +
* 4% - Da's wat een redelijke webshop haalt
 +
* 1% - Ondergrens: Als een site slechter dan dit converteert, is er een probleem.
 +
 
 +
== Meetperiode ==
 +
 
 +
''' Minimum '''
 +
 
 +
Afhankelijk van je business, de benodigde hoeveelheid data of het doel van de analyse, zal er zoiets zijn als een minimale meetperiode
 +
 
 +
* Soms een week
 +
* Vaak 3 maanden
 +
* Een paar jaar, indien je statistieken wilt hebben zonder seizoensinvloeden.
 +
 
 +
''' Maximum '''
 +
 
 +
Vaak zal er een maximale meetperiode zijn om data over te verzamelen: De wereld verandert in die tussentijd namelijk dermate dat je anders met te oude data werkt. Hoe lang die maximale periode is, verschilt van business tot business
 +
 
 +
* Als je een ijscotent hebt, en je ijsjes verkoopt in alleen de zomermaanden, is een minimale meetperiode van 6 maanden waarschijnlijk niet realistisch. Vermoedelijk is 3 maanden een maximum, en vaak waarschijnlijk zelfs korter
 +
* Waspoeder is vermoedelijk een stabielere business, waarbij je gemakkelijk een veel langere meetperiode kunt hanteren.
 +
 
 +
== Minimaal benodigde steekproeven (onzin) ==
 +
 
 +
Volgens mij klopt er geen fuck van deze getallen, omdat ze zonder context zijn gegeven. Daarnaast: Als je eenmaal snapt hoe je met binomialen werkt, is het zonde om te klooien met dit soort onzin.
 +
 
 +
''' Het magische getal is 11 '''
 +
 
 +
Ooit zei iemand me dat ''11'' het minimale aantal bemonsteringen was om significant te kunnen zijn. Dat past aardig in het schema hierboven. Als ik dit schema zou terugbrengen tot één regel, zou het wellicht worden:
 +
 
 +
<pre>
 +
Impressies  Klikken  Conversies
 +
----------  -------  ----------
 +
  750          500      11
 +
  500          11      --
 +
</pre>
 +
 
 +
Het is hierbij het zekerste om te kijken naar ''Conversies'', en bij afwezigheid daarvan naar ''Klikken'' en ''Impressies''.
 +
 
 +
Maar let op: Deze vuistregel is nogal zwak:
 +
 
 +
{|
 +
|[[file:20171129-2352.png|thumb|De derde zoekterm: Pauzeren of niet? Er zijn al meer dan 11 klikken geweest, dus deze vuistregel suggereert dat je conclusies kunt trekken. Maar let op: Regel twee heeft slechts 1 conversie per 38 klikken! Dus na 11 klikken weet je nog niets!]]
 +
|}
 +
 
 +
Conclusies: Het aantal van 11 steekproeven is een minimum voordat je ook maar iets kunt concluderen. Net zoiets als "1 datapunt is geen data". Vaak zal 11 beslist onvoldoende zijn voor enige conclusies.
 +
 
 +
''' Het magische getal is 200 '''
 +
 
 +
In okt. 2017 las ik ergens dat ''200'' het magische getal is qua significantie. Daar werd geen enkele context bij gegeven, dus het zegt weinig. Toch vind ik het een handig getal. Zie voorbeeld Amazon hiernaast.
 +
 
 +
''' Meer magische getallen '''
  
 
AdAlysis geeft [http://adalysis.com/blog/how-much-data-should-you-have-before-examining-an-ad-test-result dit staatje] van het aantal benodigde steekproeven voor statistische significantie:
 
AdAlysis geeft [http://adalysis.com/blog/how-much-data-should-you-have-before-examining-an-ad-test-result dit staatje] van het aantal benodigde steekproeven voor statistische significantie:
Regel 18: Regel 78:
 
</pre>
 
</pre>
  
−
=== 'Het magische getal is 11' ===
+
== 10x-Marge ==
  
−
Ooit zei iemand me dat ''11'' het minimale aantal bemonsteringen was om significant te kunnen zijn'. Dat past aardig in het schema hierboven. Als ik dit schema zou terugbrengen tot één regel, zou het wellicht worden:
+
De vuistregel ''10x-marge'' wil zeggen, dat je uitgaat van een bepaalde verwachtingswaarde, en die waardie 10x zo ruim neemt. Als de werkelijkheid dan nóg ongunstiger is → Stoppen.
 +
 
 +
Voorbeeld:
  
 
<pre>
 
<pre>
−
Impressies  Klikken  Conversies
+
Je bent een zoekterm aan het testen: Vergelijkbare zoektermen hebben
−
----------  -------  ----------
+
4% conversie, dus één conversie per 25 klikken, en 4 conversies per
−
  750          500      11
+
100 klikken. Dat is de verwachtingswaarde voor deze nieuwe term.
−
</pre>
+
 
 +
Bij 200 klikken & 0 conversies:
 +
 
 +
* Verwachtingswaarde: 8 conversies
 +
* "10x-marge": 0,8 conversies. Afgerond: 0 conversies
 +
* → Doorgaan
  
−
Het is hierbij het zekerste om te kijken naar ''Conversies'', en bij afwezigheid daarvan naar ''Klikken'' en ''Impressies''.
+
Bij 250 klikken & 0 conversies:
  
−
=== 'Het magische getal is 200' ===
+
* Verwachtingswaarde: 10 conversies
 +
* "10x-marge": 1 conversie
 +
* → Stoppen. Je zit precies op het kantelpunt
  
−
In okt. 2017 las ik ergens dat ''200'' het magische getal is qua significantie. Daar werd geen enkele context bij gegeven, dus het zegt weinig.
+
Bij 500 klikken & 0 conversies:
  
−
=== Conclusies - Okt. 2017 ===
+
* Verwachtingswaarde: 20 conversies
 +
* "10x-marge": 2 conversies
 +
* → Je had al bij 250 klikken moeten stoppen
 +
</pre>
  
−
Ook hier geldt dat een deel van de ''context'' mist, wo. de kosten per klik. Als die € 1 zijn, kost een zoekterm-onderzoek met 'hoge significantie' al snel € 200.
+
''' Voorbeeld '''
  
 
<pre>
 
<pre>
−
                             Impressies  Klikken  Conversies
+
* CPC € 1,--
−
                             ----------  -------  ----------
+
* Conversie-verwachtingswaarde: 2,5% -- 1 conversie/40 klikken
−
Hoge significantie vereist                            200
+
* 10x-marge: 1 conversie/400 klikken
−
Hoge significantie vereist                  200          ?
+
 
 +
                             Impressies  Klikken  Conversies       Kosten    Opmerkingen
 +
                             ----------  -------  ----------        -------  ------------
 +
Hoge significantie vereist                            200           € 8.000  Beetje theoretisch?
 +
Hoge significantie vereist                  200          ?           €  200  200 klikken & 0 of onbekend aantal conversies → welletjes
 +
 
 +
Geen hoge significantie vereist                        11            €  440
 +
Geen hoge significantie vereist              11          ?            €    11
 +
 
 +
10x-marge                                  400          ?            €  400  400 klikken & 0 of onbekend aantal conversies → welletjes
  
−
Geen hoge significantie vereist                        11
 
−
Geen hoge significantie vereist              11          ?     
 
 
</pre>
 
</pre>
  
−
== Minimaal een week of een maand meten ==
+
== Parameter sensitivity ==
  
−
De factor ''tijd'' doet ook mee: Verkeer rondom een bepaalde zoekterm, kan op maandag anders zijn dan op zaterdag. Je moet dus minimaal een week meten. Beter is wellicht om minimaal een maand te meten.
+
Een truuk om een gevoel te krijgen of een parameter gevoelig is: ''Wat gebeurt er met de uitkomst als je een parameter aanpast?''
  
−
== Minimaal evenveel steekproeven als zoekopdrachten per week of maand ==
+
''' ±1 '''
  
−
Niet alleen moet je miminaal een week of een maand meten, maar daarnaast moet je ook minimaal het aantal steekproeven verzamelen, dat overeenkomt met het aantal keer dat de betreffende zoekterm in een week of maand gebruikt wordt:
+
In dit geval: Wat gebeurt er als je een parameter met 1 verhoogt of verlaagt? Voorbeeld:
  
−
<pre>
+
{|
−
If you have a brand term that is searched 1 million times a week, you should be using at least a million impressions
+
|[[file: 20171124-2314.png|thumb|''Amstelveen'' (€ 40/conversie) doet het veel beter dan ''Amsterdam'' (€ 227/conversie). En als ik 1 conversie optel bij Amsterdam, en er 1 aftrek bij Amstelveen, dan verandert er weinig: Amstelveen (€ 79/conversie) - Amsterdam (€ 195/conversie). Dus de parameter ''#conversies'' is beperkt gevoelig. ''Let op:'' Dit is slechts een vuistregel, en vaak een hele onzorgvuldige]]
−
as your minimum.
+
|}
−
 
 
−
For many brands, they aren’t searched 1 million times in a year, and should be happy with 10,000 –
 
−
100,000 impressions before they examine their confidence levels.
 
−
</pre>
 
  
−
== Maximale hoeveelheid data: Vuistregels ==
+
''' 10% '''
  
−
En nu komt de truuk: Het is verstandig om ook een ''maximum'' hoeveelheid data vast te stellen, om tot actie over te gaan. Voorbeeld:
+
Vermoedelijk iets nauwkeuriger: Wat gebeurt er bij een verstoring van 10%?
  
−
Je hebt een nieuwe AdGroup gemaakt, en wacht tot je minimaal 750 impressies, 500 kliks, en 11 conversies hebt.
+
In dit geval: Niet veel, want 6 conversies -/- 10% is 5,4 → 5. 2 Conversies +/+ 10% - 2,2 = 2.
−
Impressies en klikken gaan prima, maar zelfs na een jaar vinden er geen conversies plaats
 
  
−
Dit zijn de vuistregels - Wat het eerste komt:
+
== Zie ook ==
  
−
* Een testperiode van 3 maanden. [http://adalysis.com/blog/do-you-have-insignificant-test-results-how-to-use-maximum-data-in-ad-testing/]
+
* [[Casussen (statistiek)]] - Inclusief voorbeelden vuistregels
−
* 10x de minimale hoeveelheid data [http://adalysis.com/blog/do-you-have-insignificant-test-results-how-to-use-maximum-data-in-ad-testing/]
 
  
−
== 3 maanden de tijd ==
+
== Bronnen ==
  
−
Vooral deze laatste vuistregel is verfrissend: De wereld verandert flink in drie maanden, en de meetgegevens aan het begin van die drie maanden, zijn al flink belegen aan het eind van die drie maanden. Dus als je na drie maanden nog niet weet wat de uitkomst is, laat het dan maar zitten.
+
=== Algemeen ===
  
−
== 10x het verwachte volume ==
+
* https://en.wikipedia.org/wiki/Chi-squared_test
 +
* http://math.hws.edu/javamath/ryan/ChiSquare.html
  
−
Stel dat je een zoekterm aan het evalueren bent, en vergelijkbare zoektermen hebben een conversie van 10%. Dat betekent dat je na 10 clicks een conversie verwacht. ''10x het verwachte volume'' wil zeggen, dat als je na 100 clicks nog steeds geen conversie hebt, het welletjes is.
+
=== Statistiek & AdWords ===
  
−
Het kan zijn dat dit niet hetzelfde is als wat het AdAnalysis-artikel bedoelt, maar ik vind het prima.
+
* http://www.chadsummerhill.com/ppc-text-ad-test-statistical-validity/
 +
* http://www.chadsummerhill.com/statistically-significant-ppc-testing-google-math/
 +
* http://www.marketingexperiments.com/blog/practical-application/top-14-free-marketing-tools-and-resources.html
 +
* http://www.marketingexperiments.com/images/multifiles/Data-Sample-Statistically-Valid.pdf
 +
* http://adalysis.com/blog/working-with-statistical-significance-how-confident-should-you-be-in-your-test-results/
 +
* http://adalysis.com/blog/how-much-data-should-you-have-before-examining-an-ad-test-result
 +
* http://adalysis.com/blog/do-you-have-insignificant-test-results-how-to-use-maximum-data-in-ad-testing/
 +
* https://www.ppchero.com/statistical-significance-who-needs-it-hint-you-do/ - Eindelijk concreet!

Huidige versie van 4 apr 2018 om 11:05

Vuistregels <1%, 200 steekproeven & Duidelijk verschil: Zie Casussen (statistiek) voor details
Vuistregels: 200 steekproeven, parameter sensitivity en 10x-marge: Zie Casussen (statistiek) voor details
Searchengineland zegt dat het zo'n 100 impressies vergt om een 'stabiele' QS te verkrijgen voor een zoekterm. PPC Hero houdt het op enkele duizenden impressies
Verwachte conversie is 4,4%. Met een 10x-marge is dat ca. 1 conversie op 225 klikken. We zitten op 260 klikken en 3 conversies. De 10x-marge-regel is vooral handig om te besluiten te stoppen als er geen conversies zijn. Dat punt zijn we hier gepasseerd. De 200-steekproevenregel zegt dat we nu genoeg data hebben om conclusies te trekken. Die conclusie is dan, dat de CVR 1,15% is. Maar let op: Dat is voor de campagne als geheel. het is zonde om op grond daarvan conclusies te trekken, want het betreft nogal hetereogene data. Het is veel handiger om te evalueren per AdGroup, zodat je minder appels met peren vergelijkt. Dat brengt echter een nadeel met zich mee: Er is te weinig data beschikbaar op dat niveau. Welliswaar homogener, maar ook schaarser. Voorstellen aan de klant dat ze nog 10 jaar moeten wachten? Da's ook niet handig. Dan toch conclusies trekken op een meer geaggregeerd niveau? Niet per se: Deze campagne is pas een maand oud. Misschien wachten tot drie maanden, en alles waar je toch te weinig info over hebt, afkappen.
Sitelinks in actie: Zie Casussen (statistiek) voor details

Wanneer heb je genoeg informatie om een conclusie te trekken? Bijvoorbeeld om een campagne te stoppen, of juist uit te breiden? Dit artikel behandelt een aantal vuistregels die daarmee kunnen helpen.

Verwachtingswaarde

De meeste vuistregels verder in dit artikel geloof ik steeds minder. Een vuistregel die ik daarintegen steeds meer vertrouw: Vergelijk met de verwachtingswaarde

Bij statistisch onderzoek wordt vaak uitgegaan van een nulhypothese H_0, bv. via een testcasus, om de verwachtingswaardes vast te stellen.

Bij gebruik aan specifiekere info, hanteer ik deze verwachtingswaardes tav. CVR:

  • 4% - Da's wat een redelijke webshop haalt
  • 1% - Ondergrens: Als een site slechter dan dit converteert, is er een probleem.

Meetperiode

Minimum

Afhankelijk van je business, de benodigde hoeveelheid data of het doel van de analyse, zal er zoiets zijn als een minimale meetperiode

  • Soms een week
  • Vaak 3 maanden
  • Een paar jaar, indien je statistieken wilt hebben zonder seizoensinvloeden.

Maximum

Vaak zal er een maximale meetperiode zijn om data over te verzamelen: De wereld verandert in die tussentijd namelijk dermate dat je anders met te oude data werkt. Hoe lang die maximale periode is, verschilt van business tot business

  • Als je een ijscotent hebt, en je ijsjes verkoopt in alleen de zomermaanden, is een minimale meetperiode van 6 maanden waarschijnlijk niet realistisch. Vermoedelijk is 3 maanden een maximum, en vaak waarschijnlijk zelfs korter
  • Waspoeder is vermoedelijk een stabielere business, waarbij je gemakkelijk een veel langere meetperiode kunt hanteren.

Minimaal benodigde steekproeven (onzin)

Volgens mij klopt er geen fuck van deze getallen, omdat ze zonder context zijn gegeven. Daarnaast: Als je eenmaal snapt hoe je met binomialen werkt, is het zonde om te klooien met dit soort onzin.

Het magische getal is 11

Ooit zei iemand me dat 11 het minimale aantal bemonsteringen was om significant te kunnen zijn. Dat past aardig in het schema hierboven. Als ik dit schema zou terugbrengen tot één regel, zou het wellicht worden: 

Impressies   Klikken   Conversies
----------   -------   ----------
   750          500       11
   500           11       --

Het is hierbij het zekerste om te kijken naar Conversies, en bij afwezigheid daarvan naar Klikken en Impressies.

Maar let op: Deze vuistregel is nogal zwak:

De derde zoekterm: Pauzeren of niet? Er zijn al meer dan 11 klikken geweest, dus deze vuistregel suggereert dat je conclusies kunt trekken. Maar let op: Regel twee heeft slechts 1 conversie per 38 klikken! Dus na 11 klikken weet je nog niets!

Conclusies: Het aantal van 11 steekproeven is een minimum voordat je ook maar iets kunt concluderen. Net zoiets als "1 datapunt is geen data". Vaak zal 11 beslist onvoldoende zijn voor enige conclusies.

Het magische getal is 200

In okt. 2017 las ik ergens dat 200 het magische getal is qua significantie. Daar werd geen enkele context bij gegeven, dus het zegt weinig. Toch vind ik het een handig getal. Zie voorbeeld Amazon hiernaast.

Meer magische getallen

AdAlysis geeft dit staatje van het aantal benodigde steekproeven voor statistische significantie: 

Verkeer               Impressies   Klikken   Conversies
-------               ----------   -------   ----------
Weinig verkeer            350         300           7
Middelmatig verkeer       750         500          13
Veel verkeer            1.000       1.000          20
Bekende merknamen     100.000      10.000    100-1000

10x-Marge

De vuistregel 10x-marge wil zeggen, dat je uitgaat van een bepaalde verwachtingswaarde, en die waardie 10x zo ruim neemt. Als de werkelijkheid dan nóg ongunstiger is → Stoppen.

Voorbeeld: 

Je bent een zoekterm aan het testen: Vergelijkbare zoektermen hebben 
4% conversie, dus één conversie per 25 klikken, en 4 conversies per 
100 klikken. Dat is de verwachtingswaarde voor deze nieuwe term.

Bij 200 klikken & 0 conversies:

* Verwachtingswaarde: 8 conversies
* "10x-marge": 0,8 conversies. Afgerond: 0 conversies
* → Doorgaan

Bij 250 klikken & 0 conversies:

* Verwachtingswaarde: 10 conversies
* "10x-marge": 1 conversie
* → Stoppen. Je zit precies op het kantelpunt

Bij 500 klikken & 0 conversies:

* Verwachtingswaarde: 20 conversies
* "10x-marge": 2 conversies
* → Je had al bij 250 klikken moeten stoppen

Voorbeeld 

* CPC € 1,--
* Conversie-verwachtingswaarde: 2,5% -- 1 conversie/40 klikken
* 10x-marge: 1 conversie/400 klikken

                             Impressies   Klikken   Conversies        Kosten    Opmerkingen
                             ----------   -------   ----------        -------   ------------
Hoge significantie vereist                             200            € 8.000   Beetje theoretisch?
Hoge significantie vereist                  200          ?            €   200   200 klikken & 0 of onbekend aantal conversies → welletjes

Geen hoge significantie vereist                         11            €   440
Geen hoge significantie vereist              11          ?            €    11

10x-marge                                   400          ?            €   400   400 klikken & 0 of onbekend aantal conversies → welletjes

Parameter sensitivity

Een truuk om een gevoel te krijgen of een parameter gevoelig is: Wat gebeurt er met de uitkomst als je een parameter aanpast?

±1

In dit geval: Wat gebeurt er als je een parameter met 1 verhoogt of verlaagt? Voorbeeld:

Amstelveen (€ 40/conversie) doet het veel beter dan Amsterdam (€ 227/conversie). En als ik 1 conversie optel bij Amsterdam, en er 1 aftrek bij Amstelveen, dan verandert er weinig: Amstelveen (€ 79/conversie) - Amsterdam (€ 195/conversie). Dus de parameter #conversies is beperkt gevoelig. Let op: Dit is slechts een vuistregel, en vaak een hele onzorgvuldige

10%

Vermoedelijk iets nauwkeuriger: Wat gebeurt er bij een verstoring van 10%?

In dit geval: Niet veel, want 6 conversies -/- 10% is 5,4 → 5. 2 Conversies +/+ 10% - 2,2 = 2.

Zie ook

Bronnen

Algemeen

Statistiek & AdWords

Overgenomen van "https://wiki.devliegendebrigade.nl/index.php?title=Statistiek_%26_online_marketing_-_Vuistregels&oldid=12216"