Statistiek & online marketing - Vuistregels

Uit De Vliegende Brigade
Ga naar: navigatie, zoeken
<1% & 200 trials & duidelijk verschil: Een Google Campagnespecialist vond dat er genoeg gegevens waren verzameld om te concluderen dat de derde advertentie met een gerust hart gepauzeerd kan worden. Zijn vuistregels: (1) Alles onder 1% (ook in andere situaties) is een slecht teken (2) 150 tot 200 advertentievertoningen zonder klik? Pauzeren! Eigen toevoeging (3): Deze ene advertentie doet het ook nog eens beduidend slechter dan de andere advertenties. Het was veel lastiger geweest, als ze het allemaal beroerd deden
200 steekproeven & parameter sensitivity: Dit betreft Amazon, maar de principes zijn hetzelfde. Er is 39 keer gelikt, maar nog niets verkocht. Stoppen of doorgaan? Dit betreft een situatie waarin hoge significantie vereist is: Dit is niet een snelle check van nieuwe zoektermen, maar een kritieke factor om omzet te bereiken. Als de 40e klik een conversie oplevert, wordt de CVR rond de 3%, en dat is best hoog. Als er 200 keer geklikt is zonder conversie en de 201e klik levert een conversie, wordt de CVR slechts 0,5% en zijn de acquisitiekosten maar liefst € 70. → 200 is dus een prima getal
10x-marge: Zelfde situatie, andere vuistregel. De verwachtingswaarde van de conversie is 4%. Met '10x-marge' wordt dat 0,4%. Dus een conversie per 250 klikken. Da's aardig in de buurt van de vuistregel hiervoor. P.s.: Voor alle campagnes op Amazon voor een klant van mij, is het conversiepercentage 4,44% (333 conversies op 7.506 klikken & 10.940.000 impressies)
Searchengineland zegt dat het zo'n 100 impressies vergt om een 'stabiele' QS te verkrijgen voor een zoekterm. PPC Hero houdt het op enkele duizenden impressies
Verwachte conversie is 4,4%. Met een 10x-marge is dat ca. 1 conversie op 225 klikken. We zitten op 260 klikken en 3 conversies. De 10x-marge-regel is vooral handig om te besluiten te stoppen als er geen conversies zijn. Dat punt zijn we hier gepasseerd. De 200-steekproevenregel zegt dat we nu genoeg data hebben om conclusies te trekken. Die conclusie is dan, dat de CVR 1,15% is. Maar let op: Dat is voor de campagne als geheel. het is zonde om op grond daarvan conclusies te trekken, want het betreft nogal hetereogene data. Het is veel handiger om te evalueren per AdGroup, zodat je minder appels met peren vergelijkt. Dat brengt echter een nadeel met zich mee: Er is te weinig data beschikbaar op dat niveau. Welliswaar homogener, maar ook schaarser. Voorstellen aan de klant dat ze nog 10 jaar moeten wachten? Da's ook niet handig. Dan toch conclusies trekken op een meer geaggregeerd niveau? Niet per se: Deze campagne is pas een maand oud. Misschien wachten tot drie maanden, en alles waar je toch te weinig info over hebt, afkappen.
Interessante cassus! Zo interessant, dat-ie elders in de artikel apart wordt behandeld

Zie ook Statistiek - Achtergrond (AdWords).

Wanneer heb je genoeg informatie verzameld om een besluit te kunnen nemen? Bijvoorbeeld om een campagne te stoppen, of juist uit te breiden? Dit artikel behandelt een aantal vuistregels die daarmee kunnen helpen.

Minimaal benodigde steekproeven

Het magische getal is 11

Ooit zei iemand me dat 11 het minimale aantal bemonsteringen was om significant te kunnen zijn. Dat past aardig in het schema hierboven. Als ik dit schema zou terugbrengen tot één regel, zou het wellicht worden:

Impressies   Klikken   Conversies
----------   -------   ----------
   750          500       11
   500           11       --

Het is hierbij het zekerste om te kijken naar Conversies, en bij afwezigheid daarvan naar Klikken en Impressies.

Let op

Maar let op: Deze vuistregel is nogal zwak:

De derde zoekterm: Pauzeren of niet? Er zijn al meer dan 11 klikken geweest, dus deze vuistregel suggereert dat je conclusies kunt trekken. Maar let op: Regel twee heeft slechts 1 conversie per 38 klikken! Dus na 11 klikken weet je nog niets!

Conclusies

Het aantal van 11 steekproeven is een minimum voordat je ook maar iets kunt concluderen. Net zoiets als "1 datapunt is geen data". Vaak zal 11 beslist onvoldoende zijn voor enige conclusies.

Het magische getal is 200

In okt. 2017 las ik ergens dat 200 het magische getal is qua significantie. Daar werd geen enkele context bij gegeven, dus het zegt weinig. Toch vind ik het een handig getal. Zie voorbeeld Amazon hiernaast.

Meer magische getallen

AdAlysis geeft dit staatje van het aantal benodigde steekproeven voor statistische significantie:

Verkeer               Impressies   Klikken   Conversies
-------               ----------   -------   ----------
Weinig verkeer            350         300           7
Middelmatig verkeer       750         500          13
Veel verkeer            1.000       1.000          20
Bekende merknamen     100.000      10.000    100-1000

Vergelijk met de verwachtingswaarde

Bij statistisch onderzoek wordt vaak een kleine testcasus opgezet om verwachtingswaardes vast te stellen. Die waardes worden vervolgens gebruikt als richtlijn voor bv. sample size. Dat kun je ook heel goed doen rondom AdWords en/of Amazon.

Een paar voorbeelden van verwachtingswaardes die ik vaak hanteer, als er geen verdere context is:

  • CTR: 1% - 1 klik op 100 impressies
  • CVR: 4% - 1 conversie op 25 klikken en 2.500 impressies.

10x-Marge

De vuistregel 10x-marge wil zeggen, dat je uitgaat van een bepaalde verwachtingswaarde, en die waardie 10x zo ruim neemt. Als de werkelijkheid dan nóg ongunstiger is → Stoppen.

Voorbeeld:

Je bent een zoekterm aan het testen: Vergelijkbare zoektermen hebben 
4% conversie, dus één conversie per 25 klikken, en 4 conversies per 
100 klikken. Dat is de verwachtingswaarde voor deze nieuwe term.

Bij 200 klikken & 0 conversies:

* Verwachtingswaarde: 8 conversies
* "10x-marge": 0,8 conversies. Afgerond: 0 conversies
* → Doorgaan

Bij 250 klikken & 0 conversies:

* Verwachtingswaarde: 10 conversies
* "10x-marge": 1 conversie
* → Stoppen. Je zit precies op het kantelpunt

Bij 500 klikken & 0 conversies:

* Verwachtingswaarde: 20 conversies
* "10x-marge": 2 conversies
* → Je had al bij 250 klikken moeten stoppen

Voorbeeld

* CPC € 1,--
* Conversie-verwachtingswaarde: 2,5% -- 1 conversie/40 klikken
* 10x-marge: 1 conversie/400 klikken

                             Impressies   Klikken   Conversies        Kosten    Opmerkingen
                             ----------   -------   ----------        -------   ------------
Hoge significantie vereist                             200            € 8.000   Beetje theoretisch?
Hoge significantie vereist                  200          ?            €   200   200 klikken & 0 of onbekend aantal conversies → welletjes

Geen hoge significantie vereist                         11            €   440
Geen hoge significantie vereist              11          ?            €    11

10x-marge                                   400          ?            €   400   400 klikken & 0 of onbekend aantal conversies → welletjes

Minimale periode

De factor tijd doet ook mee:

  • Verkeer kan op maandag heel anders zijn dan op zaterdag → Minimaal een week meten
  • De zomer is vaak afwijkend van de rest van het jaar, en het eind van het jaar kan ook flink afwijken → Minimaal 3 maanden meten?

Maxima

En nu de grote verrassing: Het is handig om ook maxima vast te stellen. Dat als die zijn bereikt, je niet langer wacht met actie.

Wat het eerste komt:

Maximaal drie maanden meten

  • In drie maanden tijd verandert de wereld flink. Dus langer meten is niet interessant, omdat de data aan het begin van die periode al flink belegen is
  • Zie het voorbeeld verderop in dit artikel over een zoekterm die na twee jaar nog niet converteerde.

Maximaal 10x de minimale hoeveelheid data

Voorbeeld:

Je hebt een nieuwe AdGroup gemaakt, en wacht tot je minimaal 750 impressies, 500 kliks, en 11 conversies hebt.
Na twee maanden heb je deze gegevens:

* 60.000 Impressies
*  4.000 Klikken
*      0 Conversies.

Stoppen of doorgaan?

→ Stoppen: Je heb qua impressies en klikken al meer dan 10x de minimale hoeveelheid data. Ook al is de campagne nog geen drie maanden actief: Het ging erom wat het eerste komt: 3 Maanden of 10x de minimaal benodigde steekproeven.

Minimaal evenveel steekproeven als zoekopdrachten per week of maand

Niet alleen moet je miminaal een week of een maand meten, maar daarnaast moet je ook minimaal het aantal steekproeven verzamelen, dat overeenkomt met het aantal keer dat de betreffende zoekterm in een week of maand gebruikt wordt:

If you have a brand term that is searched 1 million times a week, you should be using at least a million impressions 
as your minimum. 

For many brands, they aren’t searched 1 million times in a year, and should be happy with 10,000 – 
100,000 impressions before they examine their confidence levels.

Practischer: Als ik drie maanden test, wil ik in ieder geval het aantal impressies hebben dat er gezocht wordt voor die zoekterm per maand (een maand lijkt me in deze context een aardige periode).

P.s.: Deze vuistregel pas ik nooit toe.

Parameter sensitivity

Een truuk om een gevoel te krijgen of een parameter gevoelig is: Wat gebeurt er met de uitkomst als je een parameter aanpast?

±1

In dit geval: Wat gebeurt er als je een parameter met 1 verhoogt of verlaagt? Voorbeeld:

Amstelveen (€ 40/conversie) doet het veel beter dan Amsterdam (€ 227/conversie). En als ik 1 conversie optel bij Amsterdam, en er 1 aftrek bij Amstelveen, dan verandert er weinig: Amstelveen (€ 79/conversie) - Amsterdam (€ 195/conversie). Dus de parameter #conversies is beperkt gevoelig. Let op: Dit is slechts een vuistregel, en vaak een hele onzorgvuldige

10%

Vermoedelijk iets nauwkeuriger: Wat gebeurt er bij een verstoring van 10%?

In dit geval: Niet veel, want 6 conversies -/- 10% is 5,4 → 5. 2 Conversies +/+ 10% - 2,2 = 2.

Sitelink-evaluatie (casus nov. 2017)

Deze casus is zo interessant, dat ik 'm niet in zo'n sidebar behandel, maar hiero.

Uitgangspunt 7 Sitelinks met hun KPI's
Insignificante regel verwijderd: Er is voldoende clicks om 'iets' te zeggen over deze regels, muv. de laatste regel. Die laten we daarom helemaal buiten beschouwing
Winst: Dezelfde 6 regels, maar nu in een rekenblad met een extra kolom, met formule winst=kosten-20*conversie. Beetje sneu dat het allemaal negatieve getallen zijn, maar het is wél duidelijk welke regels het meeste hebben opgebracht. Het enige probleem: Is het aantal conversies voldoende significant?
Parameter sensitivity: Conversies: Alle regels krijgen nu 6 conversies. De volgorde verandert weinig: Alleen regel 1 & 4 wisselen stuivertje → #conversies is niet te gevoelig voor verstoringen. Overigens: Ik denk dat de kosten per regel voldoende significant zijn: Het zijn vrij grote getallen met flinke verschillen. Die parameters lijken me ok

Conclusies

  • Ondanks het beperkt aantal conversies, is dit voldoende om voorzichtige conclusies te trekken
  • Kijk naar winst, niet naar tussenliggende zaken (helaas kun je hier geen eigen kolommen definieren in AdWords)
  • Regels 5, 6 & 2 behouden. De overige pauzeren
  • Nieuwe varianten schrijven van 5, 6 & 2.

Zoekterm-evaluatie (casus nov. 2017)

De derde zoekterm: Pauzeren of niet?

Uitgangspunten

  • Dit zijn de statistieken van twee jaar looptijd
  • De maximale conversiekosten per zoekterm zijn € 20. De eerste twee zoektermen zitten daar flink onder. De derde zoekterm heeft nog nooit geconverteerd
  • Onderzoek heeft uitgewezen dat de derde zoekterm niet toevallig ook iets anders betekent. Hij is wat dat betreft dus relevant

Evaluatie

  • Maximaal drie maanden wachten: Na twee jaar is er nog geen conversie geweest → Pauzeren.
  • Het magische getal 11: Er zijn ruim meer dan 11 klikken geweest, dus het absolute minimum qua hoeveelheid data, is bereikt. Helaas valt er verder weinig over te zeggen, omdat de tweede regel een conversie op 38 klikken heeft. Dus minimaal 11 steekproeven, zegt niet zoveel.

Bronnen