Czy ChatGPT udziela wszystkim tej samej odpowiedzi? Nie, i wyjaśniamy dlaczego.
Nie. ChatGPT pisze każdą odpowiedź od nowa, więc dwie osoby zadające to samo pytanie albo jedna osoba pytająca dwa razy mogą dostać różne odpowiedzi. OpenAI dokumentuje, że jego modele domyślnie nie są deterministyczne, a produkt dokłada do tego pamięć, wyszukiwanie w sieci i lokalizację. Dla marki oznacza to, że jeden zrzut ekranu niewiele dowodzi: to, czy ChatGPT Cię poleca, jest wskaźnikiem i trzeba go mierzyć na wielu odpowiedziach.
Dlaczego ChatGPT daje różne odpowiedzi na to samo pytanie?
Bo każde słowo wybiera przez losowanie z prawdopodobieństw, a nie przez odczyt zapisanej odpowiedzi. Dokumentacja API OpenAI mówi, że chat completions są domyślnie niedeterministyczne, co oznacza, że wyniki modelu mogą różnić się między żądaniami. Nawet programiści, którzy ustalają każde ustawienie, są ostrzegani, że zmiany konfiguracji modeli po stronie OpenAI mogą wpłynąć na wynik.
W krótkiej odpowiedzi rzeczowej zmienia się sformułowanie, a treść zostaje. Na liście polecanych produktów to samo losowanie decyduje, które nazwy się na nią dostaną i w jakiej kolejności, więc marki na liście mogą się zmieniać przy każdym zapytaniu.
Czy ChatGPT personalizuje odpowiedzi dla każdego użytkownika?
Może. Pamięć ChatGPT pozwala mu zapamiętywać szczegóły z wcześniejszych rozmów i wykorzystywać je w późniejszych odpowiedziach, a użytkownicy mogą dodawać własne instrukcje o sobie. Ktoś, kto powiedział ChatGPT o swoim budżecie, lokalizacji lub ulubionych markach, może dostać krótką listę ukształtowaną przez te informacje.
Użytkownicy mogą wyłączyć pamięć, a czat tymczasowy z niej nie korzysta. Niezalogowany odwiedzający nie ma żadnej historii. To najbliższe neutralnej odpowiedzi sytuacje, a i tak są to tylko próbki.
Czy lokalizacja zmienia odpowiedzi ChatGPT?
Tak, gdy ChatGPT szuka w sieci. Strony zwracane przez wyszukiwanie zależą od tego, skąd ono pochodzi, a narzędzie OpenAI do wyszukiwania w sieci dla programistów przyjmuje przybliżoną lokalizację użytkownika (kraj, miasto, region i strefę czasową), żeby zawęzić wyniki geograficznie. Kupujący w Londynie i w Chicago, pytając o „the best payroll software”, mogą dostać lokalne opcje i obie odpowiedzi są trafne dla miejsca, z którego pytali. Dlatego w płatnym planie Proofsource każde pytanie można zadać z rynku, na który jest skierowane, a każdy rynek jest analizowany osobno.
Czy odpowiedź się zmienia, gdy zmienia się model ChatGPT?
Tak. OpenAI z czasem wymienia modele stojące za ChatGPT, a każdy model uczył się na innych tekstach i inaczej waży źródła. Odpowiedź sprzed miesiąca mogła pochodzić z innego modelu niż dzisiejsza. Dlatego staranny tracker zapisuje wersję modelu przy każdej odpowiedzi, tak jak Proofsource.
Jak bardzo odpowiedzi AI zmieniają się z dnia na dzień?
Bardziej, niż zakłada większość właścicieli marek. W pomiarach samego Proofsource od 9% do 27% marek wymienianych w odpowiedziach silnika zmienia się z dnia na dzień, zależnie od silnika: najbardziej ruchliwy był Perplexity, najmniej Claude. I to wtedy, gdy nikt niczego nie publikuje.
Małe próbki to ukrywają. W publicznym przykładzie Tesli ChatGPT wymienił Teslę w 16 z 25 odpowiedzi na pytania kupujących, czyli 64%, ale 95% przedział Wilsona sięga od około 45% do 80%. Kolejne 25 odpowiedzi innego dnia może wylądować w dowolnym miejscu tego zakresu, choć nic się nie zmieniło.
Trzy powody, dla których dwie odpowiedzi się różnią
Każda odpowiedź to losowanie
Model dobiera słowa według prawdopodobieństwa, więc ten sam prompt może dać inną listę.
Pamięć i lokalizacja
Zapisane wspomnienia, instrukcje niestandardowe i miejsce, z którego pada wyszukiwanie, mogą wpływać na wynik.
Model się zmienia
Nowy model za ChatGPT może wymieniać inne marki przy tym samym pytaniu.
Jak mierzyć odpowiedź ChatGPT, która za każdym razem jest inna?
Zadawaj te same pytania wiele razy, z sesji bez historii osobistej, i raportuj wskaźnik z przedziałem zamiast pojedynczego wyniku. Tak właśnie działa Proofsource. Zadaje Twoje pytania kupujących na silnikach ChatGPT, Perplexity, Claude i Google AI Overviews, zachowuje każdą odpowiedź, zapisuje, które marki wymieniono i który model napisał każdą z nich, i nakłada 95-procentowy przedział Wilsona na każdy wskaźnik.
Zmiana jest oznaczana tylko wtedy, gdy jest większa niż przedział, więc spokojny wtorek nie zostaje zgłoszony jako kryzys. Metoda jest opisana na stronie metodologii, a okres próbny to 2 dni pełnej widoczności w AI, dziś i jutro.
Co to oznacza, jeśli sprawdzasz własną markę w ChatGPT?
- Twój własny czat to najmniej wiarygodny test. Twoja pamięć i historia mogą popychać ChatGPT w stronę Twojej marki.
- Użyj czatu tymczasowego lub okna bez logowania, by uzyskać czystszy obraz, i zadaj pytanie tak, jak zrobiłby to kupujący, bez nazwy Twojej marki.
- Pytaj więcej niż raz i więcej niż jednego dnia, zanim wyciągniesz wnioski.
- Sprawdź inne silniki. Perplexity, Claude i Google AI Overviews mogą się nie zgadzać z ChatGPT przy tym samym pytaniu.
O co ludzie pytają w sprawie odpowiedzi ChatGPT
Jeśli ChatGPT wymienia moją markę, gdy ja pytam, czy moi klienci zobaczą tę samą odpowiedź?
Niekoniecznie. Twoje własne czaty mogą zawierać pamięć lub instrukcje, które Cię faworyzują, a każda odpowiedź jest losowana od nowa. Sprawdzaj z czatu tymczasowego lub okna, w którym nie jesteś zalogowany, pytaj kilka razy i traktuj wynik jako wskaźnik, a nie tak lub nie.
Czy ChatGPT daje te same odpowiedzi wszystkim w tym samym kraju?
Nie. Lokalizacja zawęża wyniki wyszukiwania w sieci, ale próbkowanie, pamięć i wersja modelu i tak różnicują odpowiedź między dwiema osobami w tym samym mieście.
Czy czat tymczasowy daje neutralną odpowiedź?
Wyłącza z gry pamięć, więc jest to uczciwszy test niż zwykły czat. Nie wyłącza losowości, więc dwa czaty tymczasowe nadal mogą się różnić.
Czy odpowiedzi Perplexity, Claude i Google AI Overviews też się różnią?
Tak. W próbkach Proofsource od 9% do 27% wymienianych marek zmienia się z dnia na dzień, zależnie od silnika; najbardziej zmienia się Perplexity, najmniej Claude. Google AI Overviews dodatkowo pojawiają się przy jednych zapytaniach, a przy innych nie.
- Dokumentacja OpenAI API: zaawansowane użycie (powtarzalne wyniki) developers.openai.com/api/docs/guides/advanced-usage
- Centrum pomocy OpenAI: Memory FAQ help.openai.com/en/articles/8590148-memory-in-chatgpt
- Dokumentacja OpenAI API: wyszukiwanie w sieci (lokalizacja użytkownika) developers.openai.com/api/docs/guides/tools-web-search
Źródła sprawdzone .
Zobacz, jak często ChatGPT naprawdę cię wymienia.
Zobacz, które pytania kupujących wymieniają twoją markę, kto jest wymieniany zamiast niej i co naprawić. 200 odpowiedzi. 25 Prompts/pytanie. Najlepsze silniki AI. 2 dni. Za darmo. Bez karty.
Google AI OverviewsGoogle AI Mode
