ChatGPT wymieniał markę przy 12,4% pytań kupujących przed GPT-6 i przy 13,0% po nim
OpenAI wprowadziło GPT-6 do ChatGPT 7 października 2026 roku, zaczynając od planów płatnych, i zapowiedziało, że użytkownicy Free i Go dostaną go od następnego dnia. Odpowiedzi ChatGPT czytamy z jego strony bez logowania jako odwiedzający z USA, a ta analiza korzysta wyłącznie z nich, więc byliśmy po darmowej stronie tego wdrożenia. Nazwa modelu, którą strona podawała w naszych odpowiedziach, zmieniła się z gpt-5-6 na gpt-6 późnym wieczorem 8 października (UTC) i już tak została.
To dało nam porównanie przed i po na tych samych pytaniach. Wzięliśmy każde pytanie kupującego (takie, które nie wymienia marki), na które ChatGPT odpowiedział pod obiema etykietami między 4 a 18 października: 188 pytań dla 16 marek, 362 odpowiedzi na GPT-5.6 i 349 na GPT-6.
Średnio na pytanie ChatGPT wymieniał markę w 12,4% przypadków przed zmianą i w 13,0% po niej. Różnica to 0,6 punktu, z przedziałem 95% od minus 1,8 do plus 2,9. Spośród 30 pytań, przy których marka pojawiła się co najmniej raz, 4 przeszły od zwykle wymienianej do zwykle niewymienianej, a 3 w drugą stronę.
Odpowiedzi wydłużyły się o 40% i cytowały o 64% więcej źródeł
Te same 188 pytań dostało pod każdym innym względem zupełnie inne odpowiedzi.
- Długość: średnio 529 słów na odpowiedź przed zmianą, 738 po niej. 167 ze 188 pytań dostało dłuższą odpowiedź.
- Struktura: liczba nagłówków na odpowiedź mniej więcej się podwoiła, z około 4 do 8. Punktory i tabele pozostały na podobnym poziomie, więc dodatkowa długość poszła w więcej sekcji.
- Cytowania: 5,1 cytowanego linku na odpowiedź przed zmianą, 8,4 po niej, z 4,0 różnych domen do 5,9.
- Wyszukiwanie: ChatGPT wykonywał przy tym mniej wyszukiwań, 3,0 na odpowiedź przed zmianą i 2,0 po niej.
Claude, Perplexity i AI Overviews prawie się nie zmieniły przy tych samych pytaniach
Kalendarz może tu zmylić. Marki edytują strony, zestawienia są aktualizowane, a nasz własny potok danych się zmienia. Podzieliliśmy więc te same pytania kupujących tą samą datą w trzech silnikach, które w tamtym tygodniu nie zmieniły modelu.
Odpowiedzi Claude przeszły z 256 słów do 255, Perplexity z 233 do 243, a Google AI Overviews z 293 do 334. Liczba cytowań na odpowiedź zmieniła się we wszystkich trzech o mniej niż jedno. Odsetek wymienień marki w każdym z nich zmienił się o mniej niż 2,5 punktu, mniej więcej tyle co w ChatGPT. Zmiana długości i źródeł należy więc do modelu ChatGPT, a stabilny odsetek wymienień marki nie jest czymś, czego brakowało w innych silnikach.
Twoja własna strona może być cytowana nieco częściej, ale jeszcze tego nie wiemy
Własna strona marki była cytowana w 7,6% odpowiedzi ChatGPT na te pytania kupujących przed zmianą i w 10,8% po niej. To kierunek, na który można liczyć, gdy odpowiedź zawiera więcej źródeł. Ale przedział dla tej zmiany sięga od minus 0,1 do plus 6,8 punktu i opiera się na 9 pytaniach, które zaczęły cytować stronę marki, wobec 5, które przestały. Za mało, by przesądzać.
Co sprawdzić, gdy silnik wypuszcza nowy model
Typowy odruch to potraktowanie premiery modelu jak resetu i przepisywanie stron. Na podstawie tych danych lepiej poczekać tydzień i sprawdzić.
- Ustal, który model wygenerował każdą odpowiedź. Linia trendu, która bez słowa łączy dwa modele, ukryje zmianę albo ją wymyśli.
- Porównuj te same pytania przed i po. Inny zestaw pytań po każdej stronie nic nie mówi o modelu.
- Porównuj z silnikiem, który w tym samym tygodniu się nie zmienił. Jeśli oba się poruszyły, przyczyną nie był model.
- Czytaj cytowania, nie tylko odsetek wzmianek. W naszych danych model zmienił to, co ChatGPT cytował, znacznie bardziej niż to, czy wymieniał markę.
Jak radzi sobie z tym Proofsource
Każda odpowiedź zapisana przez Proofsource zachowuje nazwę modelu podaną przez silnik, obok tekstu odpowiedzi, cytowanych źródeł i wykonanych wyszukiwań. Widok odpowiedzi pokazuje ten model, a linia metody pod wykresami Visibility i Prompts wymienia obie wersje, gdy silnik zmienił model w wybranym zakresie dat, dzięki czemu porównanie przed i po, takie jak to, jest widoczne, a nie zlane w jedno.
Gdzie możemy się mylić
Dotyczy to wyłącznie ChatGPT bez logowania. Informacje o wydaniu OpenAI mówią, że Free i Go korzystają z GPT-6 Luna, a plany płatne z GPT-6 Sol, a Sol nie mierzyliśmy. Strona pomocy OpenAI o modelach wciąż opisywała GPT-5.6 Luna jako domyślny dla Free, gdy ją czytaliśmy, więc etykieta gpt-6 to to, co strona zgłosiła naszemu dostawcy danych, i nie potwierdziliśmy, który to był wariant.
GPT-6 może odpowiadać elementami wizualnymi i interaktywnymi. Odpowiedź zapisujemy jako tekst, więc to, co pojawiło się tylko w takich elementach, nie zostałoby policzone.
To mała próba: 188 pytań dla 16 marek, głównie małych firm z przestrzeniami roboczymi w Proofsource, a mniej więcej połowa pytań miała po jednej odpowiedzi z każdej strony, w odstępie jednego dnia. Efekt rzędu dwóch, trzech punktów w dowolną stronę wciąż jest możliwy. „Wymieniona” oznacza, że nasza ekstrakcja znalazła markę w odpowiedzi, a pominięcie liczy się tak samo po obu stronach.
Dziesięć dni po premierze to wcześnie. OpenAI może zmienić model stojący za etykietą bez zapowiedzi, a kolejna aktualizacja może zachowywać się inaczej niż ta.
