Statistiek - Vuistregels (AdWords)

Uit De Vliegende Brigade
Ga naar: navigatie, zoeken
Een Google Campagnespecialist vond dat er genoeg statistieken waren om te concluderen dat de derde advertentie met een gerust hart gepauzeerd kan worden. Zijn vuistregels: (1) Alles onder 1% (ook in andere situaties) is een slecht teken (2) 150 tot 200 advertentievertoningen zonder klik? Pauzeren! (3) Het gaat om focus. Daarom heb je amper universele regels

Zie ook Statistiek - Achtergrond (AdWords).

Gebruik je gezonde verstand bij gebruik van deze vuistregels. Eén van de dingen die namelijk ontbreekt, is de benodigde significantie: Als je wijzigingen aanbrengt aan een kritieke campagne, wil je meer zekerheid hebben, dan wanneer je een harvesting-campagne aanpast die net van de week is begonnen.

Minimale hoeveelheden steekproeven per soort zoekterm

AdAnlysis

AdAlysis geeft dit staatje van het aantal benodigde steekproeven voor statistische significantie:

Verkeer               Impressies   Klikken   Conversies
-------               ----------   -------   ----------
Weinig verkeer            350         300           7
Middelmatig verkeer       750         500          13
Veel verkeer            1.000       1.000          20
Bekende merknamen     100.000      10.000    100-1000

'Het magische getal is 11'

Ooit zei iemand me dat 11 het minimale aantal bemonsteringen was om significant te kunnen zijn'. Dat past aardig in het schema hierboven. Als ik dit schema zou terugbrengen tot één regel, zou het wellicht worden:

Impressies   Klikken   Conversies
----------   -------   ----------
   750          500       11

Het is hierbij het zekerste om te kijken naar Conversies, en bij afwezigheid daarvan naar Klikken en Impressies.

'Het magische getal is 200'

In okt. 2017 las ik ergens dat 200 het magische getal is qua significantie. Daar werd geen enkele context bij gegeven, dus het zegt weinig.

Conclusies - Okt. 2017

Ook hier geldt dat een deel van de context mist, wo. de prijs per klik. Als die € 1 zijn, kost een zoekterm-onderzoek met 'hoge significantie' al snel € 200.

                             Impressies   Klikken   Conversies
                             ----------   -------   ----------
Hoge significantie vereist                             200
Hoge significantie vereist                  200          ?

Geen hoge significantie vereist                         11
Geen hoge significantie vereist              11          ?      

Minimaal een week of een maand meten

De factor tijd doet ook mee: Verkeer rondom een bepaalde zoekterm, kan op maandag anders zijn dan op zaterdag. Je moet dus minimaal een week meten. Beter is wellicht om minimaal een maand te meten.

Minimaal evenveel steekproeven als zoekopdrachten per week of maand

Niet alleen moet je miminaal een week of een maand meten, maar daarnaast moet je ook minimaal het aantal steekproeven verzamelen, dat overeenkomt met het aantal keer dat de betreffende zoekterm in een week of maand gebruikt wordt:

If you have a brand term that is searched 1 million times a week, you should be using at least a million impressions 
as your minimum. 

For many brands, they aren’t searched 1 million times in a year, and should be happy with 10,000 – 
100,000 impressions before they examine their confidence levels.

Maximale hoeveelheid data: Vuistregels

En nu komt de truuk: Het is verstandig om ook een maximum hoeveelheid data vast te stellen, om tot actie over te gaan. Voorbeeld:

Je hebt een nieuwe AdGroup gemaakt, en wacht tot je minimaal 750 impressies, 500 kliks, en 11 conversies hebt.
Impressies en klikken gaan prima, maar zelfs na een jaar vinden er geen conversies plaats

Dit zijn de vuistregels - Wat het eerste komt:

  • Een testperiode van 3 maanden. [1]
  • 10x de minimale hoeveelheid data [2]

3 maanden de tijd

Vooral deze laatste vuistregel is verfrissend: De wereld verandert flink in drie maanden, en de meetgegevens aan het begin van die drie maanden, zijn al flink belegen aan het eind van die drie maanden. Dus als je na drie maanden nog niet weet wat de uitkomst is, laat het dan maar zitten.

10x het verwachte volume

Stel dat je een zoekterm aan het evalueren bent, en vergelijkbare zoektermen hebben een conversie van 10%. Dat betekent dat je na 10 clicks een conversie verwacht. 10x het verwachte volume wil zeggen, dat als je na 100 clicks nog steeds geen conversie hebt, het welletjes is.

Het kan zijn dat dit niet hetzelfde is als wat het AdAnalysis-artikel bedoelt, maar ik vind het prima.