Każdy poradnik każe zacząć nowy czat, a potem opisuje kupującego, który prowadzi pięć tur
Standardowy sposób sprawdzenia, czy silnik odpowiedzi wymienia twoją markę, to spisanie zestawu pytań kupujących, uruchomienie każdego w zupełnie nowym czacie bez wcześniejszego kontekstu i zapisanie, kto został wymieniony. My też tak robimy, z dobrego powodu: czat, który już nakierowałeś na własną markę, mówi ci, co powie rozgrzany model, a nie co widzi zimny kupujący.
Potem przeczytaj, co te same poradniki mówią o tym, co robi kupujący. Ktoś, kto wybiera dostawcę, pyta, na co zwracać uwagę, wspomina o ograniczeniu, prosi o porównanie, pyta, gdzie kupić. Google traktuje to jako sens produktu: jego strona pomocy dla AI Mode mówi, że możesz zapytać o cokolwiek i dostać odpowiedź, z możliwością pogłębienia przez pytania uzupełniające. Interakcja, wokół której zbudowane są te silniki, trwa kilka tur. Każda liczba w każdym raporcie widoczności w AI to liczba z pierwszej tury.
Eksperyment na 200 000 rozmów wykazał, że spadek przychodzi w drugiej turze
Istnieje jeden duży, kontrolowany pomiar tego zjawiska. Philippe Laban i Jennifer Neville z Microsoft Research oraz Hiroaki Hayashi i Yingbo Zhou z Salesforce Research opublikowali go 9 maja 2025 roku. Wzięli 600 w pełni określonych instrukcji z sześciu zadań generowania, podzielili każdą na części i kazali symulowanemu użytkownikowi ujawniać co najwyżej jedną część na turę. Piętnaście modeli, ponad 200 000 symulowanych rozmów.
Modele, które uzyskiwały około 90%, gdy dostawały całą instrukcję w jednej wiadomości, uzyskiwały około 65%, gdy te same informacje przychodziły w kilku turach. Średnio dla modeli i zadań pogorszenie wyniosło 39%, a każdy model pogorszył się w każdym zadaniu.
Podzielenie instrukcji mogło po prostu zgubić informacje przy przepisywaniu. Kontrolowali to: połączenie tych samych części z powrotem w jedną listę punktów dało 95,1% pierwotnego wyniku. Przepisanie nic nie kosztuje, tury kosztują wszystko. Zmieniając drobność podziału, od dwóch do ośmiu części, szkoda pojawiała się przy dwóch i dalej pozostawała na tym samym poziomie.
Modele nie stały się mniej zdolne. Stały się mniej powtarzalne.
To jest część, która ma znaczenie, jeśli komukolwiek raportujesz procent. Artykuł dzieli wyniki na zdolność, czyli 90. percentyl wyników z powtarzanych uruchomień, i zawodność, czyli różnicę między 90. a 10. percentylem. Zdolność w wielu turach spadła o mniej więcej 16%. Zawodność wzrosła o 112%. Najlepsze uruchomienie w wielu turach jest niemal tak dobre jak najlepsze w jednej turze, a najgorsze jest znacznie gorsze, z rozrzutem przy stałej instrukcji średnio około 50 punktów.
Żadne z typowych lekarstw nie pomogło. o3 i DeepSeek R1 gubiły się jak wszystkie inne, a autorzy obwiniają długość: modele rozumujące pisały odpowiedzi o mniej więcej 33% dłuższe, przenosząc dalej więcej własnych założeń. Obniżenie temperatury zmniejszało zawodność o 50 do 80% w ustawieniach jednoturowych i nie dawało nic użytecznego w wieloturowych, gdzie utrzymywała się w okolicach 30% nawet przy temperaturze ustawionej na zero.
Odnieś to do raportu widoczności. Krótka lista odczytana raz w pierwszej turze to już jedna próbka zaszumionego procesu i dlatego przy każdym procencie podajemy przedział. Krótka lista odczytana raz w trzeciej turze to jedna próbka procesu o dwukrotnie większym rozrzucie.
Twoja krótka lista z pierwszej tury staje się danymi wejściowymi drugiej
OpenAI dokumentuje ten mechanizm. Każde żądanie jest niezależne i bezstanowe, a rozmowa wieloturowa działa przez odesłanie wcześniejszych wiadomości razem z nową. Nawet gdy łączysz odpowiedzi przez identyfikator, OpenAI zaznacza, że każdy wcześniejszy token wejściowy jest ponownie rozliczany jako token wejściowy. Historia nie jest pamiętana, jest wysyłana ponownie, łącznie z wcześniejszą odpowiedzią samego asystenta.
Gdy więc kupujący zadaje pytanie uzupełniające, model czyta jako część danych wejściowych własną krótką listę z pierwszej tury, a Laban i współpracownicy wymieniają nadmierne poleganie na wcześniejszych próbach odpowiedzi jako jedną z czterech przyczyn tego efektu. To wskazuje na coś, czego jeszcze nie potrafimy udowodnić: w pierwszej turze walczysz o miejsce, w drugiej spierasz się z listą, którą model już napisał. Nikt nie zmierzył tego na krótkich listach marek. To odczyt, na który byśmy postawili.
Co mierzymy i jakiej liczby nie ma nikt z nas
Proofsource z założenia próbkuje pojedyncze tury. Zadajemy każdy prompt wielokrotnie, oceniamy widoczność z przedziałem Wilsona zamiast jednej liczby i prowadzimy raport test-retest, który zadaje to samo pytanie dwa dni z rzędu. Nic z tego nie próbkuje pytania uzupełniającego jako pytania uzupełniającego. Żadne znane nam narzędzie tego nie robi, łącznie z naszym, i wolimy to spisać, niż sugerować zasięg, którego nie mamy.
To, co możemy pokazać, to sąsiedni efekt: zmień pytanie, a zmienia się wymieniony zestaw. W jednym pełnym raporcie dla jednej marki z kategorii oprogramowania biznesowego pytanie o kategorię zwróciło czternastu dostawców i nie było wśród nich tej marki. Zapytany o nią z nazwy, ten sam silnik nazwał ją jedną z wiodących platform w kategorii i ocenił na cztery do pięciu gwiazdek. W szesnastu sformułowaniach tego jednego pytania komercyjnego sześciu konkurentów pojawiło się w jedenastu lub więcej, a marka najwyżej w dwóch. To nasz wynik, z jednej marki i jednego silnika, i dotyczy sformułowania, a nie tury.
- Pisz pytanie uzupełniające jako osobny prompt. "Best project management tool" i "best project management tool for a twelve person team on no budget" to dwa prompty, a nie jeden.
- Umieść ograniczenie w pierwszej wiadomości. To rada artykułu dla użytkowników i jedyny sposób na odczyt, który porównasz w przyszłym miesiącu.
- Przestań traktować zrzut ekranu z trzyturowej rozmowy jako dowód, w którąkolwiek stronę. To jedno uruchomienie w najmniej powtarzalnym ustawieniu, jakie ktokolwiek zmierzył.
Gdzie możemy się mylić
Największa luka to przeniesienie. Sześć zadań to funkcje w Pythonie, zapytania SQL, wywołania API, arytmetyka na poziomie szkoły podstawowej, podpisy tabel i podsumowania ukierunkowane na zapytanie. Żadne z nich nie polega na poleceniu dostawcy. Artykuł ustala, że modele gubią wymagania przychodzące w kolejnych turach i stają się wtedy znacznie mniej powtarzalne. Nie ustala, że krótkie listy marek zachowują się tak samo. Uważamy, że tak, ale tego nie zmierzyliśmy.
Użytkowników symuluje mały model, a nie ludzie, a zadania są po angielsku, wyłącznie tekstowe i analityczne. Autorzy wymieniają to wszystko i twierdzą, że ich warunki są na tyle łagodne, że prawdziwe pogorszenie jest prawdopodobnie większe, co wspiera kierunek, ale nie mówi nic pewnego o skali. To też modele z 2025 roku, a żaden z czterech obserwowanych przez nas silników nie publikuje własnego wskaźnika niezawodności w wielu turach.
Nasze liczby z szesnastu sformułowań to jedna marka, jedna kategoria, jeden silnik, jeden raport. Pokazują, że pytanie decyduje o liście, ale nie są pomiarem tur. Nie mamy też liczby mówiącej, jak często prawdziwa rozmowa zakupowa wykracza poza jedną turę: to, że Google nazywa pytania uzupełniające sensem AI Mode, to deklaracja projektowa, a nie częstotliwość.
To, czego byśmy bronili, jest wąskie i dla nas trochę niezręczne. Każdy produkt w tej kategorii raportuje pierwszą turę, wszyscy mówią o rozmowie, a w tej chwili nikt z nas nie mierzy różnicy.
