Statistiek & online marketing - Vuistregels
Zie ook Statistiek - Achtergrond (AdWords).
Gebruik je gezonde verstand bij gebruik van deze vuistregels. Eén van de dingen die namelijk ontbreekt, is de benodigde significantie: Als je wijzigingen aanbrengt aan een kritieke campagne, wil je meer zekerheid hebben, dan wanneer je een harvesting-campagne aanpast die net van de week is begonnen.
Minimale hoeveelheden steekproeven per soort zoekterm
AdAnlysis
AdAlysis geeft dit staatje van het aantal benodigde steekproeven voor statistische significantie:
Verkeer Impressies Klikken Conversies ------- ---------- ------- ---------- Weinig verkeer 350 300 7 Middelmatig verkeer 750 500 13 Veel verkeer 1.000 1.000 20 Bekende merknamen 100.000 10.000 100-1000
'Het magische getal is 11'
Ooit zei iemand me dat 11 het minimale aantal bemonsteringen was om significant te kunnen zijn'. Dat past aardig in het schema hierboven. Als ik dit schema zou terugbrengen tot één regel, zou het wellicht worden:
Impressies Klikken Conversies ---------- ------- ---------- 750 500 11
Het is hierbij het zekerste om te kijken naar Conversies, en bij afwezigheid daarvan naar Klikken en Impressies.
'Het magische getal is 200'
In okt. 2017 las ik ergens dat 200 het magische getal is qua significantie. Daar werd geen enkele context bij gegeven, dus het zegt weinig.
Conclusies - Okt. 2017
Ook hier geldt dat een deel van de context mist, wo. de prijs per klik. Als die € 1 zijn, kost een zoekterm-onderzoek met 'hoge significantie' al snel € 200.
Impressies Klikken Conversies
---------- ------- ----------
Hoge significantie vereist 200
Hoge significantie vereist 200 ?
Geen hoge significantie vereist 11
Geen hoge significantie vereist 11 ?
Minimaal een week of een maand meten
De factor tijd doet ook mee: Verkeer rondom een bepaalde zoekterm, kan op maandag anders zijn dan op zaterdag. Je moet dus minimaal een week meten. Beter is wellicht om minimaal een maand te meten.
Minimaal evenveel steekproeven als zoekopdrachten per week of maand
Niet alleen moet je miminaal een week of een maand meten, maar daarnaast moet je ook minimaal het aantal steekproeven verzamelen, dat overeenkomt met het aantal keer dat de betreffende zoekterm in een week of maand gebruikt wordt:
If you have a brand term that is searched 1 million times a week, you should be using at least a million impressions as your minimum. For many brands, they aren’t searched 1 million times in a year, and should be happy with 10,000 – 100,000 impressions before they examine their confidence levels.
Maximale hoeveelheid data: Vuistregels
En nu komt de truuk: Het is verstandig om ook een maximum hoeveelheid data vast te stellen, om tot actie over te gaan. Voorbeeld:
Je hebt een nieuwe AdGroup gemaakt, en wacht tot je minimaal 750 impressies, 500 kliks, en 11 conversies hebt. Impressies en klikken gaan prima, maar zelfs na een jaar vinden er geen conversies plaats
Dit zijn de vuistregels - Wat het eerste komt:
3 maanden de tijd
Vooral deze laatste vuistregel is verfrissend: De wereld verandert flink in drie maanden, en de meetgegevens aan het begin van die drie maanden, zijn al flink belegen aan het eind van die drie maanden. Dus als je na drie maanden nog niet weet wat de uitkomst is, laat het dan maar zitten.
10x het verwachte volume
Stel dat je een zoekterm aan het evalueren bent, en vergelijkbare zoektermen hebben een conversie van 10%. Dat betekent dat je na 10 clicks een conversie verwacht. 10x het verwachte volume wil zeggen, dat als je na 100 clicks nog steeds geen conversie hebt, het welletjes is.
Het kan zijn dat dit niet hetzelfde is als wat het AdAnalysis-artikel bedoelt, maar ik vind het prima.