Eine Antwort hat Sie genannt
Diese Woche1 von 1
100%
Sichtbarkeit: 100 %. Diese Frage gehört Ihnen.
Eine einzelne Zahl schwankt. Das 95-%-Intervall zeigt, was echt ist.
Stellen Sie der KI zweimal dieselben Fragen, und Sie erhalten eine andere Zahl. Jede Zahl von Proofsource hat einen Bereich, damit Sie eine echte Veränderung von Zufall unterscheiden können.
200 Antworten. 25 Prompts/Frage. Top-KI-Engines. 2 Tage. Kostenlos. Keine Kreditkarte.
Die echte Rate liegt irgendwo hier95-%-Intervall
43 % bis 62 %
0%50%100%
Dieses Band ist das 95-%-Intervall. Eine einzelne Zahl schwankt. Das Band zeigt Ihnen, was echt ist.
Dieselben Daten, zwei Berichte. Nach welchem würden Sie handeln?
Eine Zahl ohne ihren Bereich kann genau stimmen und Sie trotzdem in die falsche Richtung schicken. Wechseln Sie zwischen den beiden Lesarten.
Der Rückgang, der keiner war
Letzte Woche4 von 10
40%
Diese Woche2 von 10
20%
Sichtbarkeit halbiert, 40 % auf 20 %. Etwas ist kaputt.
Die Rangliste, die zu knapp ist
Ihre Marke6 von 10
60%
Wettbewerber4 von 10
40%
Sie führen, 60 % zu 40 %.
Der Erfolg, der echt ist
Vor der Korrektur60 von 200
30%
Nach der Korrektur100 von 200
50%
Sichtbarkeit von 30 % auf 50 % gestiegen.
Jede Schlagzeile oben ist rechnerisch korrekt, und drei der vier würden Sie in die falsche Richtung schicken. Wechseln Sie, um zu sehen, warum.
Eine kleinere Zahl, der Sie vertrauen können, schlägt eine größere, die nicht echt ist. Genau deshalb gibt es den Bereich.
Die Antwort in einem Satz
53 von 100 Antworten nannten Tesla, die Erwähnungsrate liegt also bei 53%, mit einem 95-%-Intervall von 43% bis 62%. Stellen Sie dieselben Käuferfragen erneut, und die 53% fällt jedes Mal etwas anders aus; das Intervall ist ein Bereich, der so gezogen ist, dass er in 19 von 20 Fällen die Rate enthält, die Sie erhielten, wenn Sie unendlich oft fragen könnten.
Der Punkt ist die gemessene Rate, 53.0%. Der Balken ist das 95-%-Intervall, 43.3% bis 62.5%. Lesen Sie es so: Tesla wird in etwa 43% bis 62% der Antworten auf diese Fragen genannt, am wahrscheinlichsten in etwa 53%.
Schauen Sie zu: dieselben Fragen immer wieder stellen
Zwischen diesen Berichten ändert sich nichts: Die wahre Rate ist fest. Nur der Zufall bestimmt, welche Antworten zurückkommen. Drücken Sie den Knopf und sehen Sie, wo jeder Bericht landet.
Wahre Rate (was Sie bei unendlich vielen Fragen erhielten)
Antworten pro Bericht
10 Berichte mit je 25 Antworten. Die Schlagzeilenzahl lag zwischen 24.0% und 52.0%, obwohl sich nichts geändert hat: Die wahre Rate blieb bei 40 %.
10 von 10 Bereichen (100 %) enthalten die wahre Rate, markiert durch die gestrichelte Linie. Fragen Sie weiter, und der Wert pendelt sich bei dieser Einstellung bei 93.6% ein, nahe 19 von 20: Antworten kommen in ganzen Zahlen, daher schwankt der genaue Wert etwas um 95 %. Noch keine Fehltreffer; fragen Sie weiter, und der eine oder andere orangefarbene erscheint.
Probieren Sie Ihre eigenen Zahlen
Dieselbe Rechnung, die das Produkt für jede Zahl ausführt: das Wilson-Score-Intervall bei 95 %.
53.0% Erwähnungsrate
95-%-Intervall: 43.3% bis 62.5%, etwa 9.6 Punkte in jede Richtung.
Erhöhen Sie die Antworten und sehen Sie zu, wie sich der Bereich verengt: viermal so viele Antworten, ungefähr halbe Breite.
Warum KI-Antworten überhaupt einen Bereich brauchen
KI-Engines geben nie zweimal dieselbe Antwort. Stellen Sie dieselbe Frage morgen oder formulieren Sie sie etwas anders, und die genannten Marken ändern sich.
In unserem eigenen Tracking kehrten sich 47 % der Veränderungen von Tag zu Tag in KI-Antworten am nächsten Tag um (40 Käuferfragen, vier Engines, bis zu neun Tage). Eine Marke, die bei einer Formulierung einer Frage genannt wurde, wurde bei einer umformulierten nur in 55 % der Fälle genannt (13.994 Antworten).
Eine einzelne Antwort oder ein einzelner Tag ist also eine Ziehung aus einem beweglichen Ziel. Das Intervall macht aus vielen Ziehungen eine ehrliche Aussage: die Rate und wie sicher wir uns sein können.
Mehr Antworten, ein engerer Bereich
Die Breite hängt vor allem davon ab, wie viele Antworten hinter der Zahl stehen. Ziehen Sie entlang der Kurve.
| Antworten | Genannt (bei 30 %) | 95-%-Wilson-Intervall | Plus/minus |
|---|---|---|---|
| 10 | 3 von 10 | 10,8 % bis 60,3 % | etwa 24,8 Punkte |
| 25 | 8 von 25 | 17,2 % bis 51,6 % | etwa 17,2 Punkte |
| 50 | 15 von 50 | 19,1 % bis 43,8 % | etwa 12,3 Punkte |
| 100 | 30 von 100 | 21,9 % bis 39,6 % | etwa 8,8 Punkte |
| 200 | 60 von 200 | 24,1 % bis 36,7 % | etwa 6,3 Punkte |
| 400 | 120 von 400 | 25,7 % bis 34,7 % | etwa 4,5 Punkte |
| 1.000 | 300 von 1.000 | 27,2 % bis 32,9 % | etwa 2,8 Punkte |
Ist eine Veränderung echt oder Rauschen?
Die Frage, die jeder Wochenbericht aufwirft. Drei Regeln decken sie ab.
- Die Bereiche berühren sich nicht: Die Veränderung ist echt. Handeln Sie danach.
- Die Bereiche berühren sich: Das beweist nicht, dass sich nichts geändert hat. Zwei 95-%-Bereiche aus identischen Stichproben überlappen sich in mehr als 99 % der Fälle, Überlappung ist also ein sehr strenger Test (warum sich überlappende Fehlerbalken nicht der Test sind). Vergleichen Sie stattdessen die Fragen, die von genannt zu nicht genannt gewechselt sind, und zurück.
- Unsere Warnungen sind bewusst streng: Sie lösen nur aus, wenn sich die Bereiche trennen und die Bewegung den von Ihnen festgelegten Schwellenwert überschreitet, sodass Sie einer Warnung, die Sie erhalten, vertrauen können.
Was das Wilson-Intervall ist
Die Methode hinter jedem Bereich, den wir zeigen, 1927 vom Statistiker Edwin B. Wilson veröffentlicht und die Methode, die die statistische Literatur für eine Rate aus einer überschaubaren Zahl von Ja-oder-Nein-Ergebnissen empfiehlt.
Jede KI-Antwort nennt Ihre Marke oder nicht, eine Erwähnungsrate ist also ein Anteil von Ja-oder-Nein-Ergebnissen: was Statistiker einen Binomialanteil nennen. Die Methode von Wilson zieht den Bereich um diesen Anteil in zwei Schritten. Sie verschiebt die Mitte leicht in Richtung 50 %, stärker bei wenigen Antworten, und zieht dann um diese Mitte einen Bereich, dessen Breite von der Rate und der Anzahl der Antworten abhängt. Mit p als Anteil der Antworten, die Sie nannten, n als Anzahl der Antworten und z = 1,96 für 95 %:
centre = (p + z^2/(2n)) / (1 + z^2/n) half-width = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) ) 95% range = centre - half-width to centre + half-width
Die einfachere Formel aus den meisten Lehrbüchern, die Rate plus oder minus 1,96 Standardfehler (das Wald-Intervall), versagt genau dort, wo KI-Sichtbarkeit liegt: bei kleinen Stichproben und Raten nahe 0 % oder 100 %. Dieselben Antworten, auf beide Arten:
| Answers | Rate | Simple plus-or-minus | Wilson 95% |
|---|---|---|---|
| 53 of 100 | 53.0% | 43.2% to 62.8% | 43.3% to 62.5% |
| 2 of 25 | 8.0% | -2.6% to 18.6%, unter null | 2.2% to 25.0% |
| 0 of 25 | 0.0% | 0.0% to 0.0%, überhaupt kein Bereich | 0.0% to 13.3% |
| 25 of 25 | 100.0% | 100.0% to 100.0%, überhaupt kein Bereich | 86.7% to 100.0% |
Deshalb empfiehlt die Übersicht der gängigen Methoden von Brown, Cai und DasGupta in Statistical Science (2001) Wilson für Stichproben von 40 oder weniger, deshalb fanden Agresti und Coull (1998), dass es die wahre Rate zuverlässiger abdeckt als die Lehrbuchformel, und deshalb bevorzugte Newcombes Vergleich von sieben Methoden in Statistics in Medicine (1998) es. Dashboard, Berichte, Exporte und die API berechnen alle dasselbe Wilson-Intervall, sodass eine Zahl überall dasselbe bedeutet, wo Sie sie lesen. Die ausgearbeitete Formel steht auch unter Was ist ein Wilson-Intervall?, und jede Zahl, die wir berechnen, ist unter Methodik beschrieben.
Literatur
Die Papiere hinter der Methode, damit Sie die Mathematik selbst prüfen können.
- Journal of the American Statistical Association1927
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212.
Das Originalpapier: das Score-Intervall für einen Anteil, das unsere Bereiche verwenden.
Auf doi.org öffnen - Statistical Science2001
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101-133.
Die Standardübersicht der Methoden. Zeigt, dass sich das Plus-minus-Intervall aus dem Lehrbuch schlecht verhält, und empfiehlt Wilson für kleine Stichproben.
Auf doi.org öffnen - The American Statistician1998
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119-126.
Zeigt, dass das Wilson-(Score-)Intervall die wahre Rate zuverlässiger abdeckt als die Lehrbuchformel.
Auf doi.org öffnen - Statistics in Medicine1998
Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine, 17(8), 857-872.
Vergleicht sieben Methoden an denselben Fällen und bevorzugt das Wilson-Score-Intervall.
Auf doi.org öffnen - NIST e-Handbook of Statistical MethodsNIST
NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1: Confidence intervals for a proportion.
Das Handbuch des US National Institute of Standards and Technology stellt die Wilson-Methode vor und vermerkt, dass Brown, Cai und DasGupta sowie Agresti und Coull sie empfehlen.
Auf itl.nist.gov öffnenFrei zugänglich - Journal of Insect Science, on PubMed Central2003
Payton, M. E., Greenstone, M. H., & Schenker, N. (2003). Overlapping confidence intervals or standard error intervals: what do they mean in terms of statistical significance? Journal of Insect Science, 3(1), 34.
Warum zwei sich überlappende 95-%-Bereiche nicht heißen, dass sich nichts geändert hat: Überlappung verhält sich wie ein Test bei etwa 1 %, nicht 5 %.
Auf pmc.ncbi.nlm.nih.gov öffnenFrei zugänglich - Psychometrika1947
McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157.
Der Test für den Vergleich derselben zweimal gestellten Fragen, anhand der Fragen, die umgeschlagen sind.
Auf doi.org öffnen - Evan MillerEssay
Miller, E. How not to sort by average rating.
Eine viel gelesene, allgemein verständliche Begründung für das Wilson-Intervall beim Ranking von Elementen nach dem Anteil von Ja-oder-Nein-Stimmen.
Auf evanmiller.org öffnenFrei zugänglich
Häufige Fragen zum 95-%-Intervall
Heißt 95 %, dass wir zu 95 % sicher sind, dass unsere Zahl stimmt?
Nicht ganz. Es bedeutet, dass die Methode, die den Bereich zieht, die wahre Rate in 19 von 20 Fällen trifft. Ein einzelner Bereich enthält die wahre Rate oder nicht; die 95 % geben an, wie oft die Methode über viele Messungen richtig liegt.
Warum nicht einfach den Prozentwert zeigen?
Weil sich ein Prozentwert aus wenigen KI-Antworten durch Zufall stark bewegen kann. Ohne den Bereich wirkt ein Rückgang von 53 % auf 45 % wie eine Nachricht, obwohl es Rauschen sein kann. Der Bereich zeigt Ihnen, wie stark eine Zahl schwanken kann, bevor sie etwas bedeutet.
Warum ist der Bereich nahe 0 % und 100 % schief?
Raten können nicht unter 0 % oder über 100 % liegen, daher biegt die Wilson-Methode den Bereich vom Rand weg. 2 von 25 Antworten ergeben etwa 2 % bis 25 %, nicht symmetrische 8 % plus oder minus 11 %, was unter null fallen würde.
Wie mache ich den Bereich schmaler?
Erheben Sie mehr Antworten: mehr Käuferfragen, mehr Engines oder mehr Tage Tracking. Die Breite schrumpft mit der Quadratwurzel der Antworten, viermal so viele Antworten halbieren sie also ungefähr.
Deckt der Bereich alles ab, was falsch sein könnte?
Nein. Er deckt den Zufall ab, welche Antworten wir zufällig erhalten haben. Er deckt nicht ab, welche Fragen gestellt wurden, Änderungen an Engines zwischen Tagen oder Antworten, die wir falsch beurteilt haben. Das wird gelöst, indem wir Fragen wählen, die Käufer wirklich stellen, nach Zeitplan erneut fragen und die Antworten speichern, damit Sie sie prüfen können.
Zwei meiner Balken überlappen sich. Hat sich nichts geändert?
Nicht unbedingt. Zwei 95-%-Bereiche aus identischen Stichproben überlappen sich in über 99 % der Fälle, Überlappung ist also ein sehr strenger Test, der echte Bewegungen übersieht. Berühren sich die Balken nicht, ist die Veränderung echt. Berühren sie sich, vergleichen Sie stattdessen die Fragen, deren Antwort sich geändert hat.
Weiterlesen
Die Shortlist wird gerade geschrieben.
Sehen Sie, bei welchen Käuferfragen Ihre Marke genannt wird, wer stattdessen genannt wird und was Sie ändern sollten. 200 Antworten. 25 Prompts/Frage. Top-KI-Engines. 2 Tage. Kostenlos. Keine Kreditkarte.
200 Antworten. 25 Prompts/Frage. Top-KI-Engines. 2 Tage. Kostenlos.
Google AI OverviewsGoogle AI Mode
Google AI OverviewsGoogle AI Mode