Zekerheidsintervallen

In verschillende contexten worden verschillende maten van zekerheid gehanteerd om iets als significant aan te duiden. Hierbij een bloemlezing.

95%

• Een zekerheid van 95%, lijkt het meest gebruikelijk te zijn in deze wereld
• Da's een p-waarde van 5% alvorens een nulhypothese verworpen wordt.

99%

• 99% Zekerheid wordt hier genoemd als sterk significant
• Dus een p-waarde van 1% alvorens een nulhypothese verworpen wordt.

AdAnalysis

AdAlysis heeft een lijstje van zekerheid die ze vereisen, voordat ze wijzigingen aanbrengen aan zoektermen in bepaalde categorieën. Niet erg bruikbaar, maar zet me wel aan het denken:

Soort zoekterm                      Minimaal vereiste zekerheid
--------------               ---------------------------------------------
Long Tail Keywords	                        90%
Mid data terms	                             90% – 95%
3rd Party Brands you Sell     90% (small brands) - 95% (large brands)
Top Keywords                                 95% – 99%
Your Brand Terms	     95% (unknown brand) – 99% (well-known brand)

3 σ

• In deeltjesfysica werd tot voor kort 3 σ's gehanteerd. Totdat dat fouten opleverde [1].
• Zekerheid: 0,997 - 99,7%
• P-waarde: 0,003 - 0,3%

5 σ

• In de deeltjesfysica wordt een zekerheidsinterval van 5 sigma's aangehouden om een hypothese te accepteren
• Kans: 0,9999997 - 99,99997%
• P-waarde: 0,0000003 - 0,00003%

In de praktijk

De AdWords-campagne met (geagreggeerd) de meeste conversies waarover ik beschik:

• n=194.858
• k=7.971
• p=4,09%

Zou deze campagne 0 conversies hebben gehad, dan wordt de kans dat dit conformeert gegeven door de functie f(0; 194858; 4,09; 0). Dit geeft vreemde resultaten in Calc. Misschien zijn de getallen te groot?

Bronnen

• https://blogs.scientificamerican.com/observations/five-sigmawhats-that/