Nikt nie mówi, co zrobić z dwiema liczbami, które już masz na ekranie
Twój wskaźnik widoczności w AI się zmienił. Uruchomienie z zeszłego tygodnia mówiło, że 42% twoich promptów cię wymienia, tegotygodniowe mówi 30%. Dwanaście punktów. Zanim zaczniesz szukać, co się zepsuło, na drodze stoi mniejsze pytanie: czy cokolwiek się w ogóle wydarzyło?
Opublikowane porady są skąpe i wszystkie dotyczą twojego następnego pomiaru. Uruchamiaj więcej prób. Obserwuj co tydzień zamiast codziennie. Trzymaj stały zestaw promptów. Rozsądne, ale nie pomaga przy dwóch odczytach, które już masz. Większość osób wraca więc do tego, co panel ułatwia, i sprawdza, czy słupki błędu się nakładają. To zły test, i to zły w kierunku, którego prawie nikt się nie spodziewa.
Dwa 95-procentowe przedziały nakładają się w ponad 99% przypadków, gdy nic się nie zmieniło
Mark Payton, Matthew Greenstone i Nathaniel Schenker wyliczyli to w Journal of Insect Science w 2003 roku. Weź dwie próby z populacji, które są naprawdę identyczne, i nałóż na każdą 95-procentowy przedział ufności. Jak często te przedziały się nakładają? Ich obliczenie dla dużych prób daje ponad 99%, a ich symulacja, 10 000 par przy n=10, dała 0,995.
Sprawdzanie, czy 95-procentowe przedziały się nakładają, to więc nie test na poziomie 5%. To bliżej testu na poziomie 1%. Prawie nigdy nie uznasz różnicy za prawdziwą, także wtedy, gdy nią jest.
Ten sam artykuł analizuje odwrotny przypadek. Zwykłe słupki błędu standardowego nakładają się w 84,3% przypadków, gdy nic się nie dzieje, więc ocenianie ich na oko to test z odsetkiem fałszywych alarmów bliskim 15%. Raz na sześć razy szukasz przyczyny, której nie ma.
Podają też poprawkę. Aby sprawdzanie nakładania zachowywało się jak test na poziomie 5%, przy mniej więcej równych błędach standardowych przedziały powinny mieć około 83 lub 84% szerokości. Przy n=10 ich przedziały 84-procentowe nakładały się w 94,9% przypadków, czyli dają te 5%, o które chodziło.
Jeden spadek, trzy werdykty, a branża używa najcichszego
Policzmy naprawdę spadek z 42% do 30%. Powiedzmy, że to 200 promptów w jednym silniku, 84 wymieniające cię w pierwszym uruchomieniu i 60 w drugim.
- 95-procentowe przedziały Wilsona: 42% mieści się w przedziale od 35,4% do 48,9%, a 30% od 24,1% do 36,7%. Nakładają się o mniej więcej punkt. Werdykt: nic ciekawego.
- Standardowy test dwóch proporcji na tych samych dwóch liczbach: z = 2,50, p = 0,012. Werdykt: prawdziwe.
- 84-procentowe przedziały Wilsona, zgodnie z powyższą poprawką: od 37,2% do 47,0% wobec od 25,7% do 34,7%. Wyraźnie rozdzielone. Werdykt: prawdziwe, i teraz zgodne z testem, bo właśnie o to chodzi w tej korekcie.
Te same prompty uruchomione dwa razy to pomiar sparowany, a w sparowaniu tkwi moc
Pod wszystkimi trzema kryje się większy błąd. Test dwóch proporcji traktuje uruchomienia jak niezależne próby. Nie są nimi. Uruchom ponownie te same 200 promptów w tym samym silniku, a każdy prompt zostanie zmierzony dwa razy, więc porównanie należy robić prompt po prompcie.
Większość promptów się nie zmieni, a te, które wymieniły cię za każdym razem albo ani razu, nic nie mówią o zmianie. Cała informacja jest w promptach, które się odwróciły.
Powiedzmy, że 30 promptów przestało cię wymieniać, a 6 zaczęło. Ta sama różnica netto 24 promptów, te same 12 punktów. Test McNemara na tych 36 odwróceniach, standardowy test dla sparowanych danych binarnych, daje chi-kwadrat 16,0 przy 1 stopniu swobody, więc p wynosi około 0,00006. Test niezależny na identycznych danych dawał 0,012. Sparowanie usunęło zmienność wynikającą z różnic między promptami i zostawiło zmienność, o którą naprawdę pytałeś.
Zmień zestaw promptów między uruchomieniami, a tracisz tę przewagę i żadna statystyka jej nie odda. Trzymaj stały zestaw, a nowe prompty zaczynaj jako osobną serię.
Nasze alerty też używają ostrożnego progu, a oto, ile cię to kosztuje
Nasze reguły alertów wymagają dwóch rzeczy. Przedziały Wilsona dla starego i nowego wyniku nie mogą się nakładać, a zmiana musi przekroczyć ustawiony przez ciebie próg w wybranym przez ciebie kierunku. Sprawdzenie przedziałów odbywa się najpierw, więc jeśli słupki się stykają, nic się nie uruchamia, niezależnie od progu.
To ostrożny próg i wybraliśmy go celowo. Alert, któremu nikt nie ufa, jest gorszy niż brak alertu. Według powyższych liczb to jednak mniej więcej test na poziomie 1%, więc spadek o 12 punktów z przykładu przechodzi bez echa. To prawdziwy koszt i wolimy go spisać, niż pozwolić, byś sam go odkrył.
Pod rachunkiem jest podłoga, która ma większe znaczenie. Uruchom ponownie identyczny zestaw promptów dla witryny, której nikt nie ruszał, a liczba i tak się przesunie, bo silniki się nie powtarzają. Własna dokumentacja OpenAI mówi to wprost: chat completions są domyślnie niedeterministyczne, a nawet przy ustawionym ziarnie ich system "will make a best effort to sample deterministically" i "determinism is not guaranteed". W naszym własnym próbkowaniu widzieliśmy, jak od 9 do 27% wymienionego zestawu zmienia się z dnia na dzień, zależnie od silnika. I to bez tego, by ktokolwiek cokolwiek publikował.
Dlatego Proofsource prowadzi raport test-retest: te same stałe prompty, ten sam silnik, dwa razy dziennie, dla witryny, która się nie zmieniła. Daje ci wielkość twojego własnego szumu, zanim ustawisz na nim próg. Pomiń to, a twój próg będzie zgadywaniem.
Gdzie możemy się mylić
Payton i współpracownicy wyprowadzili swój wynik dla średnich z populacji normalnych, zakładając równe błędy standardowe i dużą próbę. Widoczność to proporcja, a przedział Wilsona staje się asymetryczny w pobliżu 0 i 100%. Kierunek przenosi się bez problemu, 95-procentowe nakładanie jest zdecydowanie zbyt ostrożne jak na test na poziomie 5%, ale traktuj 83 do 84% jako regułę kciuka dla naszego przypadku, a nie dowód. W pobliżu skrajności przeprowadź sam test.
Przykład roboczy to rachunek, a nie pomiar. 200 promptów, 84 i 60, 30 odwróceń wobec 6 to liczby wybrane tak, by były spójne i pokazywały różnicę. Twoje będą inne, a to rozkład jest tym, na co trzeba patrzeć.
Istotność statystyczna i „to ty to spowodowałeś” to osobne twierdzenia i tutaj zajmujemy się tylko pierwszym. p = 0,00006 względem szumu próbkowania mówi, że zachowanie silnika zmieniło się między dwoma uruchomieniami. Nie mówi nic o tym, dlaczego. Przy zmienności, którą mierzymy, istotna zmiana wciąż może być samoistnym dryfem silnika.
Liczba od 9 do 27% jest nasza. To, co widzieliśmy w próbkowanych silnikach, a nie opublikowana stała, i nie zastąpi zmierzenia własnej.
