Czym jest próbkowanie odpowiedzi AI?
Próbkowanie odpowiedzi AI to zadawanie tych samych pytań w każdym silniku AI więcej niż raz i traktowanie każdej liczby o widoczności jako szacunku z tej próby, a nie stałego faktu. Zadaj silnikowi AI to samo pytanie dwa razy, a możesz dostać dwie różne krótkie listy. Dlatego żadna pojedyncza odpowiedź nie jest pomiarem. Próbkowanie oznacza wielokrotne zadawanie stałego zestawu pytań w każdym silniku i traktowanie odsetka odpowiedzi, które cię wymieniają, jako szacunku z zakresem.
Dlaczego odpowiedzi AI trzeba próbkować?
Ponieważ silniki nie są deterministyczne. Dokumentacja OpenAI podaje, że Chat Completions są domyślnie niedeterministyczne, więc wyniki mogą się różnić między żądaniami (dokumentacja API OpenAI, sprawdzone 15 października 2026).
Nawet przy temperaturze zero ten sam prompt dryfuje. Thinking Machines Lab pobrało 1000 odpowiedzi na jeden prompt z otwartego modelu przy temperaturze zero i dostało 80 różnych wyników; główną przyczyną okazało się obciążenie serwera zmieniające wielkość partii, do której trafia każde żądanie (10 września 2025, Thinking Machines). Część tego, co mówi pojedyncza odpowiedź, zależy od tego, jak zajęty był serwer.
Ile odpowiedzi wystarczy?
Tyle, by przedział był węższy niż zmiana, którą chcesz wykryć. Jeśli model naprawdę wymienia cię w 60% przypadków, oto jak szeroki pozostaje 95-procentowy przedział Wilsona przy każdej wielkości próby (obliczenia):
| Odpowiedzi | Wymieniono | Przedział 95% | Szerokość |
|---|---|---|---|
| 5 | 3 | 23,1% do 88,2% | 65 pkt |
| 20 | 12 | 38,7% do 78,1% | 39 pkt |
| 40 | 24 | 44,6% do 73,7% | 29 pkt |
| 100 | 60 | 50,2% do 69,1% | 19 pkt |
Jak uczciwie próbkować odpowiedzi AI?
Ustal metodę, zanim spojrzysz na wyniki, i utrzymuj ją taką samą w każdym okresie:
- Te same pytania, w tym samym brzmieniu, w każdym silniku, aby różnica między silnikami była prawdziwą różnicą.
- Pytania, które cię nie wymieniają z nazwy, a pytania o markę w osobnym zestawie.
- Uruchomienia rozłożone na kilka dni, a nie jedna seria, bo odpowiedzi dryfują wraz z obciążeniem i aktualizacjami modeli.
- Odrzucone dosłowne powtórzenia wcześniejszej odpowiedzi: powtórka to nie drugie losowanie.
- Przypadki bez odpowiedzi, na przykład gdy nie pokazano AI Overview, pomijane, a nie liczone jako pominięcia.
Jak wygląda próbkowanie w prawdziwym przykładzie?
Publiczny przykład Tesli (4 paź 2026) zadał 25 pytań kupujących raz w każdym z czterech silników: łącznie 100 odpowiedzi, ale tylko 25 na silnik. Dlatego 64% dla ChatGPT ma zakres od około 45% do 80%.
Powtarzanie pytań zmienia obraz. W trzech dniach skanowania (4, 8 i 15 października) pięć sformułowań jednego pytania o magazyny energii dla sieci Tesli dało po 12 nowych odpowiedzi: dwa sformułowania wymieniły Teslę 12 z 12 razy, jedno 7 z 12, a dwa ani razu (wpis). Jedno uruchomienie jednego sformułowania mogło pokazać którykolwiek z tych wyników.
Jak próbkuje Proofsource?
Plan Proofsource działa codziennie lub co tydzień. W planie dziennym każde obserwowane pytanie jest zadawane raz w każdym silniku na dobę UTC, a każdy wskaźnik ma przedział Wilsona, więc zmiana musi wyjść poza szum, zanim się liczy. Zobacz jak często uruchamiane są skany i Prompts.
Częste pytania o Próbkowanie odpowiedzi AI
Czy jeden zrzut ekranu z ChatGPT wystarczy, by wiedzieć, czy AI nas poleca?
Nie. Jedna odpowiedź, która cię wymienia, jest zgodna z prawdziwym wskaźnikiem wzmianek nawet około 21%, a jedno pominięcie ze wskaźnikiem nawet około 79%. Zrzut ekranu pokazuje, że coś może się zdarzyć, a nie jak często się zdarza.
Czy powinienem zadać to samo pytanie kilka razy z rzędu?
Lepiej rozłóż powtórzenia na kilka dni. Żądania wysyłane jedno po drugim mogą być buforowane lub odtwarzane, a dosłowna powtórka to nie nowa próba.
Czy seed lub temperatura zero sprawiają, że odpowiedzi są powtarzalne?
Tylko częściowo. OpenAI opisuje wyniki z seedem jako w większości deterministyczne, a aplikacje dla konsumentów nie udostępniają żadnego z tych ustawień. Traktuj każdy silnik jako źródło prób.
Próbkowanie codzienne czy cotygodniowe?
Wybierz według decyzji. Cotygodniowe pasuje do trendu na dużym, stałym zestawie pytań. Codzienne pomaga, gdy zestaw jest mały albo wdrożyłeś zmianę i chcesz zobaczyć, którego dnia odpowiedzi się zmieniły i czy zmiana się utrzymała.
Powiązane pojęcia
- Przedział Wilsona
Przedział Wilsona to zakres, w którym może się realnie mieścić zmierzony odsetek, biorąc pod uwagę, na ilu odpowiedziach się opiera.
- Zmienność odpowiedzi AI
Zmienność odpowiedzi AI to to, jak bardzo zmieniają się marki wymieniane przez silnik AI, gdy to samo pytanie zada się ponownie albo innymi słowami.
- Wskaźnik wzmianek
Wskaźnik wzmianek to odsetek odpowiedzi AI na dane pytanie, które wymieniają Twoją markę.
- Prompt
W widoczności w AI prompt to pytanie obserwowane w silnikach AI, sformułowane tak, jak zadałby je kupujący.
Sprawdź, gdzie AI cię pomija, i co naprawić.
Zobacz, które pytania kupujących wymieniają twoją markę, kto jest wymieniany zamiast niej i co naprawić. 200 odpowiedzi. 25 Prompts/pytanie. Najlepsze silniki AI. 2 dni. Za darmo. Bez karty.
Google AI OverviewsGoogle AI Mode
