Jedna odpowiedź Cię wymieniła
W tym tygodniu1 z 1
100%
Widoczność: 100%. To pytanie należy do Ciebie.
Jedna liczba się chwieje. 95% przedział pokazuje, co jest prawdziwe.
Zadaj AI te same pytania dwa razy, a dostaniesz inną liczbę. Każda liczba w Proofsource ma przedział, więc odróżnisz prawdziwą zmianę od szczęścia.
200 odpowiedzi. 25 Prompts/pytanie. Najlepsze silniki AI. 2 dni. Za darmo. Bez karty.
Prawdziwy wskaźnik jest gdzieś tutajPrzedział 95%
43% do 62%
0%50%100%
Ten pas to przedział 95%. Jedna liczba się chwieje. Pas mówi Ci, co jest prawdziwe.
Te same dane, dwa raporty. Na podstawie którego byś działał?
Liczba bez zakresu może być dokładnie poprawna, a i tak poprowadzić Cię w złą stronę. Przełącz między dwoma odczytami.
Spadek, którego nie było
Zeszły tydzień4 z 10
40%
W tym tygodniu2 z 10
20%
Widoczność spadła o połowę, z 40% do 20%. Coś się zepsuło.
Ranking, w którym jest za ciasno
Twoja marka6 z 10
60%
Konkurent4 z 10
40%
Prowadzisz, 60% do 40%.
Wygrana, która jest prawdziwa
Przed poprawką60 z 200
30%
Po poprawce100 z 200
50%
Widoczność wzrosła z 30% do 50%.
Każdy nagłówek powyżej jest arytmetycznie poprawny, a trzy z czterech poprowadziłyby cię w złą stronę. Przełącz, żeby zobaczyć dlaczego.
Mniejsza liczba, której możesz zaufać, jest lepsza niż większa, która nie jest prawdziwa. Właśnie po to jest zakres.
Odpowiedź w jednym zdaniu
53 z 100 odpowiedzi wymieniło Teslę, więc jej wskaźnik wzmianek to 53%, z przedziałem 95% od 43% do 62%. Zadaj te same pytania kupujących ponownie, a 53% wyjdzie za każdym razem trochę inny; przedział to zakres wyznaczony tak, że w 19 przypadkach na 20 zawiera wskaźnik, który uzyskałbyś, pytając w nieskończoność.
Kropka to zmierzony wskaźnik, 53,0%. Pasek to przedział 95%, od 43,3% do 62,5%. Czytaj to tak: Tesla jest wymieniana w mniej więcej od 43% do 62% odpowiedzi na te pytania, najpewniej w okolicach 53%.
Obserwuj: zadawaj te same pytania raz za razem
Między tymi raportami nic się nie zmienia: prawdziwy wskaźnik jest stały. Tylko przypadek zmienia to, które odpowiedzi wracają. Naciśnij przycisk i zobacz, gdzie wyląduje każdy raport.
Prawdziwy wskaźnik (taki, jaki dałoby pytanie bez końca)
Odpowiedzi na raport
10 raportów, każdy z 25 odpowiedzi. Główna liczba wahała się od 24.0% do 52.0%, choć nic się nie zmieniło: prawdziwy wskaźnik wynosił stale 40%.
10 z 10 przedziałów (100%) zawiera prawdziwy wskaźnik, oznaczony linią przerywaną. Pytaj dalej, a ustabilizuje się na 93.6% dla tego ustawienia, blisko 19 na 20: odpowiedzi to liczby całkowite, więc dokładna wartość waha się nieco wokół 95%. Nie ma jeszcze pudeł; pytaj dalej, a pojawi się pomarańczowe.
Wpisz własne liczby
To samo obliczenie, które produkt wykonuje dla każdej liczby: przedział score Wilsona na poziomie 95%.
53,0% wskaźnik wzmianek
Przedział 95%: od 43,3% do 62,5%, około 9.6 pkt w każdą stronę.
Zwiększ liczbę odpowiedzi i patrz, jak przedział się zwęża: cztery razy więcej odpowiedzi to mniej więcej o połowę węższy przedział.
Po co odpowiedziom AI w ogóle przedział
Silniki AI nie dają dwa razy tej samej odpowiedzi. Zadaj to samo pytanie jutro albo sformułuj je trochę inaczej, a wymienione marki się zmienią.
W naszym monitoringu 47% codziennych zmian w odpowiedziach AI odwróciło się następnego dnia (40 pytań kupujących, cztery silniki, do dziewięciu dni). Marka wymieniona przy jednym sformułowaniu pytania pojawiała się przy innym sformułowaniu tylko w 55% przypadków (13 994 odpowiedzi).
Pojedyncza odpowiedź albo pojedynczy dzień to więc jedno losowanie z ruchomego celu. Przedział zamienia wiele losowań w uczciwe stwierdzenie: wskaźnik i to, jak pewni możemy go być.
Więcej odpowiedzi, węższy przedział
Szerokość zależy głównie od tego, ile odpowiedzi stoi za liczbą. Przeciągnij wzdłuż krzywej.
| Odpowiedzi | Wymieniony (przy 30%) | 95-procentowy przedział Wilsona | Plus minus |
|---|---|---|---|
| 10 | 3 z 10 | od 10,8% do 60,3% | około 24,8 pkt |
| 25 | 8 z 25 | od 17,2% do 51,6% | około 17,2 pkt |
| 50 | 15 z 50 | od 19,1% do 43,8% | około 12,3 pkt |
| 100 | 30 z 100 | od 21,9% do 39,6% | około 8,8 pkt |
| 200 | 60 z 200 | od 24,1% do 36,7% | około 6,3 pkt |
| 400 | 120 z 400 | od 25,7% do 34,7% | około 4,5 pkt |
| 1000 | 300 z 1000 | od 27,2% do 32,9% | około 2,8 pkt |
Czy zmiana jest prawdziwa, czy to szum?
Pytanie, które pojawia się przy każdym tygodniowym raporcie. Wystarczą trzy zasady.
- Zakresy się nie stykają: zmiana jest prawdziwa. Działaj.
- Zakresy się stykają: to nie dowodzi, że nic się nie zmieniło. Dwa 95% zakresy z identycznych próbek pokrywają się w ponad 99% przypadków, więc pokrywanie się to bardzo surowy test (dlaczego nakładające się słupki błędu to nie test). Porównaj raczej pytania, które zmieniły się z wymienionych na niewymienione i z powrotem.
- Nasze alerty są celowo rygorystyczne: uruchamiają się tylko wtedy, gdy zakresy się rozchodzą, a zmiana przekracza ustawiony przez Ciebie próg, więc alertowi, który dostajesz, możesz zaufać.
Czym jest przedział Wilsona
Metoda stojąca za każdym pokazywanym zakresem, opublikowana przez statystyka Edwina B. Wilsona w 1927 roku i zalecana przez literaturę statystyczną dla wskaźnika z niewielkiej liczby wyników typu tak lub nie.
Każda odpowiedź AI albo wymienia twoją markę, albo nie, więc wskaźnik wzmianek to odsetek wyników tak/nie, czyli to, co statystycy nazywają proporcją dwumianową. Metoda Wilsona wyznacza przedział wokół tego odsetka w dwóch krokach. Najpierw lekko przesuwa środek w stronę 50%, tym mocniej, im mniej jest odpowiedzi, a potem wyznacza wokół tego środka przedział, którego szerokość zależy od wskaźnika i liczby odpowiedzi. Gdzie p to odsetek odpowiedzi, które cię wymieniły, n to liczba odpowiedzi, a z = 1,96 dla 95%:
centre = (p + z^2/(2n)) / (1 + z^2/n) half-width = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) ) 95% range = centre - half-width to centre + half-width
Prostszy wzór z większości podręczników, wskaźnik plus minus 1,96 błędu standardowego (przedział Walda), zawodzi dokładnie tam, gdzie żyje widoczność w AI: przy małych próbach i wskaźnikach bliskich 0% lub 100%. Te same odpowiedzi na dwa sposoby:
| Odpowiedzi | Wskaźnik | Simple plus-or-minus | Wilson 95% |
|---|---|---|---|
| 53 of 100 | 53,0% | 43,2% to 62,8% | 43,3% to 62,5% |
| 2 of 25 | 8,0% | -2,6% to 18,6%, poniżej zera | 2,2% to 25,0% |
| 0 of 25 | 0,0% | 0,0% to 0,0%, żadnego przedziału | 0,0% to 13,3% |
| 25 of 25 | 100,0% | 100,0% to 100,0%, żadnego przedziału | 86,7% to 100,0% |
Dlatego przegląd popularnych metod autorstwa Browna, Cai i DasGupty w Statistical Science (2001) zaleca Wilsona dla prób do 40, dlatego Agresti i Coull (1998) wykazali, że pokrywa prawdziwy wskaźnik pewniej niż wzór podręcznikowy, i dlatego porównanie siedmiu metod autorstwa Newcombe’a w Statistics in Medicine (1998) wypadło na jego korzyść. Panel, raporty, eksporty i API liczą ten sam przedział Wilsona, więc liczba znaczy to samo, gdziekolwiek ją czytasz. Rozpisany wzór jest też na stronie Czym jest przedział Wilsona?, a każda liczba, którą wyliczamy, jest opisana w Metodologii.
Źródła
Publikacje stojące za metodą, żebyś mógł sam sprawdzić obliczenia.
- Journal of the American Statistical Association1927
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212.
Oryginalna publikacja: przedział score dla proporcji, z którego korzystają nasze zakresy.
Otwórz w doi.org - Statistical Science2001
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101-133.
Standardowy przegląd metod. Pokazuje, że podręcznikowy przedział plus minus zawodzi, i zaleca metodę Wilsona dla małych prób.
Otwórz w doi.org - The American Statistician1998
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119-126.
Pokazuje, że przedział Wilsona (score) obejmuje prawdziwy odsetek pewniej niż wzór z podręcznika.
Otwórz w doi.org - Statistics in Medicine1998
Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine, 17(8), 857-872.
Porównuje siedem metod na tych samych przypadkach i wskazuje przedział Wilsona.
Otwórz w doi.org - NIST e-Handbook of Statistical MethodsNIST
NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1: Confidence intervals for a proportion.
Podręcznik amerykańskiego National Institute of Standards and Technology przedstawia metodę Wilsona, zaznaczając, że zalecają ją Brown, Cai i DasGupta oraz Agresti i Coull.
Otwórz w itl.nist.govDo czytania za darmo - Journal of Insect Science, on PubMed Central2003
Payton, M. E., Greenstone, M. H., & Schenker, N. (2003). Overlapping confidence intervals or standard error intervals: what do they mean in terms of statistical significance? Journal of Insect Science, 3(1), 34.
Dlaczego dwa nakładające się 95-procentowe zakresy nie oznaczają, że nic się nie zmieniło: nakładanie działa jak test na poziomie około 1%, a nie 5%.
Otwórz w pmc.ncbi.nlm.nih.govDo czytania za darmo - Psychometrika1947
McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157.
Test do porównania tych samych pytań zadanych dwukrotnie, oparty na pytaniach, które zmieniły wynik.
Otwórz w doi.org - Evan MillerEssay
Miller, E. How not to sort by average rating.
Popularne, przystępne uzasadnienie przedziału Wilsona przy szeregowaniu elementów według odsetka głosów „tak” lub „nie”.
Otwórz w evanmiller.orgDo czytania za darmo
Częste pytania o przedział 95%
Czy 95% oznacza, że na 95% jesteśmy pewni, że nasza liczba jest dobra?
Niezupełnie. Oznacza to, że metoda, która wyznaczyła zakres, trafia w prawdziwy wskaźnik 19 razy na 20. Każdy pojedynczy zakres albo zawiera prawdziwy wskaźnik, albo nie; 95% mówi, jak często metoda ma rację przy wielu pomiarach.
Dlaczego nie pokazać po prostu procentu?
Bo odsetek z niewielkiej liczby odpowiedzi AI może się mocno zmieniać przypadkiem. Bez zakresu spadek z 53% do 45% wygląda na wiadomość, choć może być szumem. Zakres mówi, jak bardzo liczba może się wahać, zanim zacznie coś znaczyć.
Dlaczego przedział jest niesymetryczny w pobliżu 0% i 100%?
Wskaźnik nie może spaść poniżej 0% ani przekroczyć 100%, więc metoda Wilsona odsuwa przedział od krawędzi. 2 z 25 odpowiedzi dają mniej więcej od 2% do 25%, a nie symetryczne 8% plus minus 11%, które zeszłoby poniżej zera.
Jak zawęzić przedział?
Zbierz więcej odpowiedzi: więcej pytań kupujących, więcej silników albo więcej dni śledzenia. Szerokość maleje z pierwiastkiem kwadratowym z liczby odpowiedzi, więc cztery razy więcej odpowiedzi mniej więcej ją połowi.
Czy przedział uwzględnia wszystko, co może być nie tak?
Nie. Uwzględnia przypadek w tym, które odpowiedzi akurat dostaliśmy. Nie uwzględnia tego, jakie pytania zadano, zmian silników między dniami ani odpowiedzi, które oceniliśmy błędnie. Tym zajmujemy się, wybierając pytania, które kupujący naprawdę zadają, pytając ponownie według harmonogramu i przechowując odpowiedzi, żebyś mógł je sprawdzić.
Dwa moje słupki się pokrywają. Czy nic się nie zmieniło?
Niekoniecznie. Dwa przedziały 95% z identycznych prób nakładają się w ponad 99% przypadków, więc nakładanie się to bardzo surowy test, który przeocza prawdziwe zmiany. Gdy słupki się nie stykają, zmiana jest prawdziwa. Gdy się stykają, porównaj zamiast tego pytania, w których zmieniła się odpowiedź.
Czytaj dalej
Krótka lista powstaje właśnie teraz.
Zobacz, które pytania kupujących wymieniają twoją markę, kto jest wymieniany zamiast niej i co naprawić. 200 odpowiedzi. 25 Prompts/pytanie. Najlepsze silniki AI. 2 dni. Za darmo. Bez karty.
200 odpowiedzi. 25 Prompts/pytanie. Najlepsze silniki AI. 2 dni. Za darmo.
Google AI OverviewsGoogle AI Mode
Google AI OverviewsGoogle AI Mode