Casussen (statistiek)

Slecht presterende advertentie & Google-man (okt. 2016)

Een Google Campagnespecialist vond dat er genoeg gegevens waren verzameld om te concluderen dat de derde advertentie met een gerust hart gepauzeerd kan worden. Zijn vuistregels: (1) Alles onder 1% (ook in andere situaties) is een slecht teken (2) 150 tot 200 advertentievertoningen zonder klik? Pauzeren! Eigen toevoeging (3): Deze ene advertentie doet het ook nog eens beduidend slechter dan de andere advertenties. Het was veel lastiger geweest, als ze het allemaal beroerd deden

Probleem

• Advertenties worden getoond via Google AdWords
• Stochastische grootheid X: Wordt er doorgeklikt op een advertentie?
• Drie van de vier advertenties hebben een CTR van zo'n 1,5%
• De derde advertentie heeft echter een CTR van maar 0,5%
• Hoe groot is de kans dat die achterblijvende CTR van voorbijgaande aard is?

Uitwerking

• Elke keer dat een advertentie wordt getoond, betreft dat een bernoulli-experiment. De kansrekening van de reeks aan experimenten, kent een binomiale verdeling
• Het blijkt vanzelfsprekend te zijn om met een nulhypothese H_0 te werken. In dit geval houdt deze in, dat de derde advertentie zich gedraagt zoals de overige advertenties
• Het blijt ook vanzelfsprekend te zijn, dat er een bepaalde aanname is tav. de succeskans. In dit geval is die gemakkelijk afgeleid van de overige advertenties. Of om het nog 'neutraler' te nemen: Gewoon de CTR van alle vier de campagnes. Dus 1,61%
• Deze kans van 1,61% is gebaseerd op 5.793 experimenten. Uiteraard zit daar een bepaalde onzekerheid in, maar ik denk dat ik dat kan verwaarlozen
• De derde campagne kent 399 experimenten en 2 successen.

Het probleem opnieuw geformuleerd:

• Stochastische grootheid X: Doorklikken op een advertentie
• n = 399
• k = 2
• p = 0,0161.
• Wat is de kans op maar 2 successen? Ligt die kans in een bepaald interval, bv. dat van 95% zekerheid?

De bijbehorende kansfunctie:

f(k,n,p) = f(2; 399; 0,0161) = 3,27%

Calc kan daarnaast de cummulatieve kans berekenen. Dus in dit geval: De kans op 2 successen of minder:

f(k, n, p, 1) = 4,43%

Conclusies

• Er is 95,57% zekerheid, dat deze advertentie onderpresteert - Er is 4,43% kans dat dit een toevallige uitschieter is
• Er is geen onzekerheid geïncorporeerd tav. de kans in de nulhypothese. Misschien daar nog eens naar kijken
• LibreOffice Calc is super: Ook complexe gevallen zonder wachttijd. Ik hoef dus geen benadering te doen middels normale verdelingen.