Jedno sprawdzenie, które cię wymieniło, jest zgodne z prawdziwym wskaźnikiem 20,7%
Najczęstszy sposób, w jaki marka dowiaduje się, gdzie stoi w wyszukiwaniu AI, wygląda tak: ktoś zadaje pytanie raz, czyta odpowiedź i albo się uspokaja, albo panikuje. Ta jedna odpowiedź staje się potem liczbą, którą wszyscy powtarzają na kolejnym spotkaniu.
Traktuj ją jak to, czym jest. Jedno pytanie zadane raz, z wynikiem tak lub nie, to próba o wielkości jeden z monety, której obciążenia nie znasz. Przedział Wilsona to standardowy sposób wyznaczania granic dla takiej proporcji. Policz go dla jednego sukcesu w jednej próbie przy 95% ufności, a wynik to od 20,7% do 100%.
Prościej: model, który wymienia cię w jednym sprawdzeniu, jest w pełni zgodny z modelem, który wymieniałby cię w jednej odpowiedzi na pięć. Zrzut ekranu nie odróżni tych przypadków. Ty też nie.
Z pominięciem jest gorzej. Zero na jeden daje przedział od 0% do 79,3%, a zespoły regularnie przepisują plan treści właśnie na tej podstawie.
Ten sam prompt zwraca inną odpowiedź przez to, kto jeszcze pytał
Nie miałoby to znaczenia, gdyby silniki były deterministyczne. Nie są, a powód jest bardziej konkretny niż zwykłe machnięcie ręką w stronę losowości. OpenAI mówi to wprost we własnych wytycznych do API: Chat Completions są domyślnie niedeterministyczne, co oznacza, że wyniki modelu mogą się różnić między żądaniami. Ziarno daje to, co ta sama strona nazywa wynikiem w większości deterministycznym, a OpenAI udostępnia system fingerprint, żeby było widać, kiedy zmiana po stronie backendu przesunęła ci grunt pod nogami.
Thinking Machines Lab to zmierzyło. We wrześniu 2025 roku laboratorium pobrało 1000 odpowiedzi z Qwen3-235B-A22B-Instruct-2507 przy temperaturze zero, czyli przy próbkowaniu zachłannym, które teoretycznie powinno być w pełni powtarzalne, z promptem "Tell me about Richard Feynman". Dostało 80 unikalnych odpowiedzi, a najczęstsza pojawiła się 78 razy. Wszystkie 1000 uruchomień zgadzało się przez pierwsze 102 tokeny i rozeszło się na 103.: 992 kontynuowały "Queens, New York", a 8 "New York City".
Przyczyną, którą wskazują, nie jest losowość GPU. Jądra obliczeniowe są deterministyczne między uruchomieniami, ale nie są niezmiennicze względem batcha, więc żądanie dostaje nieco inną arytmetykę zależnie od batcha, do którego trafi, a wielkość batcha wyznacza obciążenie serwera. Ich wniosek warto przeczytać dwa razy: główną przyczyną, dla której prawie wszystkie endpointy inferencji LLM są niedeterministyczne, jest to, że obciążenie, a więc i wielkość batcha, zmienia się niedeterministycznie.
Czyli odpowiedź, którą sfotografowałeś, częściowo zależy od tego, ilu obcych ludzi odpytywało ten sam endpoint w tej samej sekundzie. To nie jest sygnał o twojej marce.
Dwadzieścia prób wciąż zostawia zakres czterdziestu punktów
Gdy przyjmiesz, że liczba widoczności to proporcja szacowana z próby, następne pytanie brzmi, jak duża musi być próba. Przedział Wilsona na nie odpowiada, a odpowiedź uczy pokory. Wszystkie poniższe zakładają, że model wymienia cię w 60% przypadków:
- 5 prób, 3 wzmianki: od 23,1% do 88,2%. Zakres 65 punktów. Wiesz, że marka istnieje.
- 20 prób, 12 wzmianek: od 38,7% do 78,1%. Zakres 39 punktów, czyli większość skali.
- 40 prób, 24 wzmianki: od 44,6% do 73,7%. Teraz możesz wykluczyć niewidoczność.
- 100 prób, 60 wzmianek: od 50,2% do 69,1%. Wciąż 19 punktów szerokości.
- 366 prób: pierwszy punkt, w którym przedział zwęża się do plus minus 5 punktów. Dojście do plus minus 3 wymaga 1021.
Większość zmian raportowanych na panelu widoczności w AI wcale się nie wydarzyła
Tu rachunek zaczyna kosztować pieniądze. Próbkuj jeden prompt 40 razy w pierwszym tygodniu i zobacz 24 wzmianki, potem 40 razy w drugim tygodniu i zobacz 32. To wygląda na skok z 60% do 80% i do piątku trafi na slajd.
Te dwa przedziały to od 44,6% do 73,7% i od 65,2% do 89,5%. Nakładają się. Wahnięcie o 20 punktów na 40 próbach to jeszcze nie wynik, a właściwe, co można powiedzieć zespołowi, to że nic nie zostało ustalone. Zrób tak kilka razy, a ludzie przestaną gonić szum.
Dlatego w Proofsource uzależniamy alerty od przedziału, a nie od estymaty punktowej, i dlatego każdy procent widoczności w naszych raportach ma obok przedział Wilsona. Alert, który uruchamia się, gdy liczba przekroczy linię, w tak zaszumionym systemie uruchamia się bez przerwy. Taki, który uruchamia się, gdy przedziały się rozdzielą, uruchamia się wtedy, gdy coś się wydarzyło.
Ta sama logika dotyczy zera. Brak wzmianek w 20 próbach zostawia górną granicę 16,1%, a brak wzmianek w 40 zostawia 8,8%. Jeśli chcesz twierdzić, że silnik nigdy cię nie wymienia, 40 prób to mniej więcej punkt, od którego to twierdzenie zaczyna coś znaczyć.
Używaj przedziału Wilsona, a nie tego, którego cię uczono
Jedna uwaga techniczna, bo oczywista alternatywa zawodzi dokładnie w przypadkach, które są tu ważne. Przedział, który zna większość ludzi, to przedział Walda, zbudowany na zwykłym przybliżeniu normalnym. Dla jednego sukcesu w jednej próbie podaje od 100% do 100%, a dla zera na jeden od 0% do 0%. Mówi ci, że jedno sprawdzenie jest pewne, a to dokładnie ten błąd, który próbujemy naprawić.
Jest to dobrze udokumentowane. Przegląd Browna, Cai i DasGupty w Statistical Science wykazał, że chaotyczne pokrycie przedziału Walda jest znacznie trwalsze, niż się sądzi, że popularne podręcznikowe zalecenia, kiedy jest bezpieczny, są mylące i wadliwe i nie można im ufać, i zalecają Wilsona dla małych prób. Próbkowanie silników odpowiedzi to małe próby, bo każdy obserwowany prompt ma własny licznik.
Co zrobić w poniedziałek
Nic z tego nie wymaga kupowania czegokolwiek. Wymaga zmiany tego, co zapisujesz.
- Przestań raportować pojedyncze sprawdzenie. Jeśli dowodem jest zrzut ekranu, wynik brzmi: marka może się pojawić, i nic więcej.
- Wybierz wielkość próby, zanim spojrzysz na dane, i utrzymuj ją w każdym okresie. Zmiana n między odczytami sprawia, że dwie liczby są nieporównywalne, nawet jeśli obie są uczciwe.
- Raportuj przedział, a nie punkt. Wiersz z 60% i zakresem od 45 do 74 trudniej nadinterpretować niż wiersz z samym 60%.
- Ustaw próg alertu na rozdzieleniu przedziałów i rozłóż próby na kilka dni. Dwa nakładające się przedziały to nie zmiana, niezależnie od tego, jak różne wydają się środki.
Gdzie możemy się mylić
Powyższe liczby Wilsona to dokładna arytmetyka na podanych danych wejściowych, więc same liczby nie budzą wątpliwości. Budzi je założenie modelowe. Przedziały Wilsona zakładają niezależne próby ze stałym prawdopodobieństwem sukcesu, a powtarzane zapytania do działającego silnika nie są czysto niezależne: personalizacja, cache, kontekst sesji i nowa wersja modelu wypuszczona w środku tygodnia łamią to założenie. Traktuj te przedziały jako dolną granicę swojej niepewności, a nie jej pełny rachunek.
Eksperyment Thinking Machines przeprowadzono na samodzielnie hostowanym modelu o otwartych wagach na własnej infrastrukturze laboratorium, a nie na ChatGPT, Gemini czy Perplexity. Ustala mechanizm, a nie wariancję jakiegokolwiek produktu komercyjnego, a żaden z tych dostawców nie publikuje swojej.
Liczba 60% w tabeli wielkości prób jest ilustracyjna. Wybraliśmy ją, bo przedziały są najszersze w okolicy środka, co czyni ją przypadkiem ostrożnym. Marka na poziomie 5% lub 95% potrzebuje mniej prób dla tej samej precyzji bezwzględnej.
Bronilibyśmy kierunku błędu. Małe próby, pojedyncze sprawdzenia i estymaty punktowe bez przedziałów pchają w tę samą stronę, ku przekonaniu, że coś zmierzyłeś, choć tak nie jest.
