Eén antwoord noemde je
Deze week1 van 1
100%
Zichtbaarheid: 100%. Deze vraag is van jou.
Eén cijfer schommelt. Het 95%-interval laat zien wat echt is.
Stel AI twee keer dezelfde vragen en je krijgt een ander getal. Elk getal van Proofsource heeft een bandbreedte, zodat je een echte verandering kunt onderscheiden van geluk.
200 antwoorden. 25 Prompts/vraag. Top-AI-engines. 2 dagen. Gratis. Geen creditcard nodig.
De echte ratio ligt ergens hierbinnen95%-interval
43% tot 62%
0%50%100%
Die band is het 95%-interval. Eén getal schommelt. De band vertelt je wat echt is.
Dezelfde data, twee rapporten. Op welk rapport zou jij actie ondernemen?
Een getal zonder bereik kan precies kloppen en je toch de verkeerde kant op sturen. Wissel tussen de twee lezingen.
De daling die er geen was
Vorige week4 van 10
40%
Deze week2 van 10
20%
Zichtbaarheid gehalveerd, van 40% naar 20%. Er is iets misgegaan.
De ranglijst die te dicht bij elkaar ligt
Je merk6 van 10
60%
Concurrent4 van 10
40%
Jij staat voor, 60% tegen 40%.
Het succes dat echt is
Voor de verbetering60 van 200
30%
Na de verbetering100 van 200
50%
Zichtbaarheid gestegen van 30% naar 50%.
Elke kop hierboven klopt rekenkundig, en drie van de vier zouden je de verkeerde kant op sturen. Wissel om te zien waarom.
Een kleiner getal dat je kunt vertrouwen is beter dan een groter getal dat niet echt is. Daarom staat het bereik er.
Het antwoord in één regel
53 van de 100 antwoorden noemden Tesla, dus het vermeldingspercentage is 53%, met een 95%-interval van 43% tot 62%. Stel dezelfde koopvragen opnieuw en het 53% komt elke keer iets anders uit; het interval is een bereik dat zo is gekozen dat het 19 van de 20 keer het percentage bevat dat je zou krijgen als je eindeloos kon blijven vragen.
De stip is de ratio die we maten, 53,0%. De balk is het 95%-interval, 43,3% tot 62,5%. Lees het zo: Tesla wordt genoemd in ergens tussen ongeveer 43% en 62% van de antwoorden op deze vragen, het waarschijnlijkst rond 53%.
Volg het: stel dezelfde vragen steeds opnieuw
Tussen deze rapporten verandert niets: het echte percentage ligt vast. Alleen toeval bepaalt welke antwoorden terugkomen. Druk op de knop en kijk waar elk rapport uitkomt.
Werkelijk percentage (wat je zou krijgen als je eindeloos bleef vragen)
Antwoorden per rapport
10 rapporten, elk op basis van 25 antwoorden. Het hoofdcijfer liep van 24.0% tot 52.0%, terwijl er niets veranderde: het werkelijke percentage bleef 40%.
10 van 10 bereiken (100%) bevatten het werkelijke percentage, aangegeven met de stippellijn. Blijf vragen en het komt voor deze instelling uit op 93.6%, dicht bij 19 op 20: antwoorden komen in hele getallen, dus het exacte cijfer schommelt iets rond 95%. Nog geen missers; blijf vragen en af en toe verschijnt er een oranje.
Probeer je eigen cijfers
Dezelfde berekening die het product op elk getal uitvoert: het Wilson-score-interval op 95%.
53,0% vermeldingspercentage
95%-interval: 43,3% tot 62,5%, ongeveer 9.6 punten naar beide kanten.
Schuif het aantal antwoorden omhoog en zie het bereik smaller worden: vier keer zoveel antwoorden, ongeveer de halve breedte.
Waarom AI-antwoorden überhaupt een bereik nodig hebben
AI-engines geven nooit twee keer hetzelfde antwoord. Stel dezelfde vraag morgen, of formuleer haar iets anders, en de genoemde merken veranderen.
In onze eigen tracking werd 47% van de dagelijkse veranderingen in AI-antwoorden de volgende dag teruggedraaid (40 koopvragen, vier engines, tot negen dagen). Een merk dat bij één formulering van een vraag werd genoemd, werd bij een herformulering maar 55% van de keren genoemd (13.994 antwoorden).
Eén antwoord, of één dag, is dus één trekking uit een bewegend doel. Het interval maakt van veel trekkingen een eerlijke uitspraak: het percentage, en hoe zeker we daarvan kunnen zijn.
Meer antwoorden, een smaller bereik
De breedte hangt vooral af van hoeveel antwoorden er achter het getal zitten. Sleep langs de curve.
| Antwoorden | Genoemd (bij 30%) | 95%-Wilson-interval | Plus of min |
|---|---|---|---|
| 10 | 3 van 10 | 10,8% tot 60,3% | ongeveer 24,8 punten |
| 25 | 8 van 25 | 17,2% tot 51,6% | ongeveer 17,2 punten |
| 50 | 15 van 50 | 19,1% tot 43,8% | ongeveer 12,3 punten |
| 100 | 30 van 100 | 21,9% tot 39,6% | ongeveer 8,8 punten |
| 200 | 60 van 200 | 24,1% tot 36,7% | ongeveer 6,3 punten |
| 400 | 120 van 400 | 25,7% tot 34,7% | ongeveer 4,5 punten |
| 1.000 | 300 van 1.000 | 27,2% tot 32,9% | ongeveer 2,8 punten |
Is een verandering echt, of ruis?
De vraag die elk weekrapport oproept. Drie regels geven het antwoord.
- De bereiken raken elkaar niet: de verandering is echt. Handel ernaar.
- De bereiken raken elkaar: dat bewijst niet dat er niets veranderde. Twee 95%-bereiken uit identieke steekproeven overlappen in meer dan 99% van de gevallen, dus overlap is een heel strenge toets (waarom overlappende foutbalken niet de toets zijn). Vergelijk in plaats daarvan de vragen die omsloegen van genoemd naar niet genoemd, en terug.
- Onze alerts zijn bewust streng: ze gaan alleen af als de bereiken uit elkaar liggen en de beweging de drempel haalt die jij instelt, dus een alert die je krijgt, kun je vertrouwen.
Wat het Wilson-interval is
De methode achter elke bandbreedte die we tonen, gepubliceerd door de statisticus Edwin B. Wilson in 1927 en de methode die de statistische literatuur aanbeveelt voor een ratio uit een bescheiden aantal ja-of-nee-uitkomsten.
Elk AI-antwoord noemt je merk of niet, dus een vermeldingspercentage is een aandeel ja-of-nee-uitkomsten: wat statistici een binomiale proportie noemen. De methode van Wilson tekent de marge rond dat aandeel in twee stappen. Ze schuift het midden een beetje richting 50%, sterker bij weinig antwoorden, en tekent daarna rond dat midden een marge waarvan de breedte afhangt van het percentage en het aantal antwoorden. Met p het aandeel antwoorden dat je noemde, n het aantal antwoorden en z = 1,96 voor 95%:
centre = (p + z^2/(2n)) / (1 + z^2/n) half-width = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) ) 95% range = centre - half-width to centre + half-width
De eenvoudigere formule uit de meeste studieboeken, het percentage plus of min 1,96 standaardfouten (het Wald-interval), gaat precies daar mis waar AI-zichtbaarheid zich afspeelt: kleine steekproeven en percentages rond 0% of 100%. Dezelfde antwoorden, op beide manieren:
| Antwoorden | Percentage | Simple plus-or-minus | Wilson 95% |
|---|---|---|---|
| 53 of 100 | 53,0% | 43,2% to 62,8% | 43,3% to 62,5% |
| 2 of 25 | 8,0% | -2,6% to 18,6%, onder nul | 2,2% to 25,0% |
| 0 of 25 | 0,0% | 0,0% to 0,0%, helemaal geen bereik | 0,0% to 13,3% |
| 25 of 25 | 100,0% | 100,0% to 100,0%, helemaal geen bereik | 86,7% to 100,0% |
Daarom raadt het overzicht van gangbare methoden van Brown, Cai en DasGupta in Statistical Science (2001) Wilson aan voor steekproeven van 40 of minder, ontdekten Agresti en Coull (1998) dat het de werkelijke ratio betrouwbaarder dekt dan de formule uit het leerboek, en gaf Newcombes vergelijking van zeven methoden in Statistics in Medicine (1998) er de voorkeur aan. Dashboard, rapporten, exports en de API berekenen allemaal hetzelfde Wilson-interval, dus een getal betekent overal hetzelfde. De uitgewerkte formule staat ook op Wat is een Wilson-interval?, en elk getal dat we berekenen wordt beschreven op Methodologie.
Referenties
De artikelen achter de methode, zodat je de wiskunde zelf kunt controleren.
- Journal of the American Statistical Association1927
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212.
Het oorspronkelijke artikel: het score-interval voor een proportie dat onze bandbreedtes gebruiken.
Openen op doi.org - Statistical Science2001
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101-133.
Het standaardoverzicht van de methoden. Laat zien dat het plus-of-min-interval uit de studieboeken zich slecht gedraagt en raadt Wilson aan voor kleine steekproeven.
Openen op doi.org - The American Statistician1998
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119-126.
Toont aan dat het Wilson-(score-)interval het werkelijke percentage betrouwbaarder omvat dan de formule uit het studieboek.
Openen op doi.org - Statistics in Medicine1998
Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine, 17(8), 857-872.
Vergelijkt zeven methoden op dezelfde gevallen en geeft de voorkeur aan het Wilson-score-interval.
Openen op doi.org - NIST e-Handbook of Statistical MethodsNIST
NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1: Confidence intervals for a proportion.
Het handboek van het Amerikaanse National Institute of Standards and Technology presenteert de Wilson-methode en merkt op dat die wordt aanbevolen door Brown, Cai en DasGupta en door Agresti en Coull.
Openen op itl.nist.govGratis te lezen - Journal of Insect Science, on PubMed Central2003
Payton, M. E., Greenstone, M. H., & Schenker, N. (2003). Overlapping confidence intervals or standard error intervals: what do they mean in terms of statistical significance? Journal of Insect Science, 3(1), 34.
Waarom twee overlappende 95%-bereiken niet betekenen dat er niets veranderde: overlap werkt als een toets op ongeveer 1%, niet 5%.
Openen op pmc.ncbi.nlm.nih.govGratis te lezen - Psychometrika1947
McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157.
De toets om dezelfde vragen die twee keer zijn gesteld te vergelijken, op basis van de vragen die omsloegen.
Openen op doi.org - Evan MillerEssay
Miller, E. How not to sort by average rating.
Een veelgelezen pleidooi in begrijpelijke taal voor het Wilson-interval bij het rangschikken van items op basis van een aandeel ja-of-nee-stemmen.
Openen op evanmiller.orgGratis te lezen
Veelgestelde vragen over het 95%-interval
Betekent 95% dat we 95% zeker zijn dat ons cijfer klopt?
Niet helemaal. Het betekent dat de methode die het bereik bepaalde het echte percentage 19 van de 20 keer vangt. Elk afzonderlijk bereik bevat het echte percentage wel of niet; die 95% zegt hoe vaak de methode het goed heeft over veel metingen.
Waarom niet gewoon het percentage tonen?
Omdat een percentage uit een klein aantal AI-antwoorden flink kan schuiven door toeval. Zonder de bandbreedte lijkt een daling van 53% naar 45% nieuws, terwijl het ruis kan zijn. De bandbreedte laat zien hoeveel een getal kan schommelen voordat het iets betekent.
Waarom is het bereik scheef bij 0% en 100%?
Percentages kunnen niet onder 0% of boven 100% komen, dus de Wilson-methode buigt het bereik weg van de rand. 2 van 25 antwoorden geeft ongeveer 2% tot 25%, niet een symmetrische 8% plus of min 11%, wat onder nul zou duiken.
Hoe maak ik het bereik smaller?
Vraag meer antwoorden: meer koopvragen, meer engines of meer dagen volgen. De breedte neemt af met de wortel van het aantal antwoorden, dus vier keer zoveel antwoorden halveert hem ongeveer.
Dekt de marge alles wat er mis kan zijn?
Nee. Het dekt het toeval in welke antwoorden we toevallig kregen. Het dekt niet welke vragen werden gesteld, veranderingen in engines tussen dagen of antwoorden die we verkeerd beoordeelden. Die vang je op door vragen te kiezen die kopers echt stellen, volgens een schema opnieuw te vragen en de antwoorden te bewaren zodat je ze kunt controleren.
Twee van mijn balken overlappen. Is er dan niets veranderd?
Niet per se. Twee 95%-bereiken uit identieke steekproeven overlappen in meer dan 99% van de gevallen, dus overlap is een heel strenge test die echte verschuivingen mist. Raken de balken elkaar niet, dan is de verandering echt. Raken ze elkaar wel, vergelijk dan de vragen waarvan het antwoord veranderde.
Lees verder
De shortlist wordt nu geschreven.
Zie welke koopvragen je merk noemen, wie in jouw plaats wordt genoemd en wat je moet verbeteren. 200 antwoorden. 25 Prompts/vraag. Top-AI-engines. 2 dagen. Gratis. Geen creditcard nodig.
200 antwoorden. 25 Prompts/vraag. Top-AI-engines. 2 dagen. Gratis.
Google AI OverviewsGoogle AI Mode
Google AI OverviewsGoogle AI Mode