Vraagstukken (statistiek)

100 steekproeven zonder success. Wat nu?

De verwachtingswaarde gaat uit van een oneindig aantal steekproeven, maar in de praktijk is het aantal trials beperkt. Wellicht is dit de fantastische wereld van utiliteitswaarde, expected value of sample information, etc.

Simpel AdWords-voorbeeld

• Een conversie is € 20 waard
• Een klik kost € 1
• 100 Klikken op rij hebben geen conversie opgeleverd
• Kosten van de trials: € 100. Opbrengst: € 0. Resultaat: € -100
• P(X=0) = 100%
• P(X=1) = 0%
• De verwachtingswaarde van deze kansfunctie is 0.
• Als er geen rekening wordt gehouden met het eindige aantal trials, is de conclusie simpel: Stoppen.

Conversie op de 101e trial

Maar nu vindt er een conversie plaats op de 101e trial. Nieuwe gegevens:

• 101 Klikken op rij
• Kosten: € 101
• Verwachtingswaarde: 1/101 * € 20 = 0,01 * € 20 = € 0,20
• P(X=0) = 99%
• P(X=1) = 1%
• Kosten: € 101. Opbrengst: € 20. Resultaat: € -81

Conclusies tav. dit voorbeeld

• Deze ene conversie heeft niet de campagne gered. Het was waarschijnlijk niet de moeite waard om deze additionele trial te doen
• In de praktijk is het wijsheid om (bij afwezigheid van additionele gegevens) een campagne te pauzeren als er 100 trials zijn geweest zonder ook maar één conversie, en waarbij een komende conversie niet in één keer de campagne redt
• Voor een degelijker antwoord moet je met zekerheidsintervallen aan de slag.

Neerstortende vliegtuigen

Gemiddeld storten er 12 vliegtuigen per maand neer. Wat is de kans dat er elke maand precies 1 vliegtuig neerstort?

Utiliteitswaarde?

Ik denk dat een kans soms onvoldoende is: Het gaat om de achterliggende resultaten in de verschillende scenario's. Hoe incorporeer ik die?