167 odpowiedzi liczonych jako wzmianki podawało o marce coś nieprawdziwego
Wskaźnik wzmianek zadaje każdej odpowiedzi jedno pytanie: czy marka została wymieniona? Nie pyta, co odpowiedź o niej powiedziała. Chcieliśmy wiedzieć, jak często te dwie rzeczy się rozchodzą.
Próba: odpowiedzi z przestrzeni roboczych Proofsource od 4 do 16 października 2026 roku, w ChatGPT, Perplexity, Claude i Google AI Overviews. W każdej odpowiedzi, która wymieniała obserwowaną markę, narzędzie sprawdzające porównywało każde twierdzenie o marce z faktami, które marka potwierdziła lub które odczytaliśmy z jej własnej strony. 2137 odpowiedzi, obejmujących 80 marek w 63 przestrzeniach roboczych, zawierało co najmniej jedno twierdzenie, które dało się porównać z zapisanym faktem.
167 z nich, czyli 7,8%, zawierało co najmniej jedno twierdzenie sprzeczne z faktami podanymi przez markę (przedział 95%: od 6,8% do 9,0%). Licząc twierdzenie po twierdzeniu, 200 z 4761 możliwych do sprawdzenia twierdzeń było błędnych, czyli 4,2%. W przekroju marek 36 z 80 miało co najmniej jedną błędną odpowiedź w niecałe dwa tygodnie.
Każda z tych 167 odpowiedzi wliczała się do wskaźnika wzmianek. Na panelu wyglądały dokładnie tak samo jak odpowiedzi, w których wszystko było poprawne.
Większość błędnych twierdzeń dotyczyła liczb: ilości, cen i tego, czym jest produkt
200 błędnych twierdzeń posortowaliśmy według tematu prostą regułą tekstową, więc traktuj ten podział orientacyjnie.
- Liczby i inne wartości, 92: integracje, lokalizacje, obsłużeni klienci, wskaźnik umieszczeń pomylony o jeden punkt.
- Czym jest lub co robi produkt, 50: narzędzie do kosztorysowania opisane jako oprogramowanie do zarządzania projektami, firma z branży bezpieczeństwa opisana jako projekt blockchainowy.
- Ceny i plany, 48: cena początkowa podana niżej niż prawdziwa, błędnie podana liczba kredytów w planie.
- Daty, 10 według reguły, choć tylko 6 było faktycznie latami założenia, w większości pomylonymi o jeden.
Claude podawał błędny fakt w 12% odpowiedzi, Perplexity w 5%
W podziale na silniki odsetek sprawdzonych odpowiedzi z co najmniej jednym błędnym twierdzeniem wyniósł 12,3% w Claude (58 z 470), 8,7% w Google AI Overviews (45 z 516), 6,0% w ChatGPT (37 z 612) i 5,0% w Perplexity (27 z 539).
Nie traktuj tego jak tabeli ligowej. Każdy silnik odpowiadał w naszej próbie na inny zestaw pytań, a badanie zewnętrzne z inną metodą uszeregowało je inaczej (więcej o tym niżej). To, co się sprawdza we wszystkich czterech, to fakt, że żaden nie był bez błędów.
Odpowiedzi cytujące własną stronę marki myliły się o połowę rzadziej
Przy pytaniach wymieniających markę, takich jak „czym zajmuje się ta firma” albo „ile to kosztuje”, odpowiedź cytowała własną stronę marki 1353 razy. 7,1% z nich podało błędny fakt (96). Gdy strony marki nie było wśród cytowań, było to 15,3% (47 z 307, przedział od 11,7% do 19,8%).
Przy pytaniach kupujących, które nie wymieniały marki, wyraźnej różnicy nie było: 4,8% wobec 5,7%, przy znacznie mniejszych liczbach. To korelacja, a nie test. Wskazuje jednak na najtańszą poprawkę, jaka istnieje: gdy silnik cię opisuje, częściej robi to poprawnie, jeśli czyta właśnie ciebie.
176 błędnych faktów, z czego 162 widziane tylko raz
Po pogrupowaniu błędnych twierdzeń według marki, faktu i wartości 200 sprowadza się do 176 różnych błędnych faktów. 162 z nich pojawiły się w jednej odpowiedzi. Tylko 14 się powtórzyło, a tylko 8 pojawiło się w więcej niż jednym silniku.
To zmienia sposób działania. Błędna cena, którą jeden silnik podał raz, to losowanie, którego możesz już nigdy nie zobaczyć. Taka, która wraca albo pojawia się w dwóch silnikach, skądś pochodzi, a tym źródłem jest zwykle jakaś strona. Znaleźliśmy też 65 błędnych faktów o 17 markach na stronach cytowanych przez silniki: stronach osób trzecich, które już zawierały błąd.
Co otworzyć za własnym wskaźnikiem wzmianek
Narzędzie, które pokazuje tylko wskaźnik, nie powie ci niczego z tych rzeczy. Poproś o odpowiedzi.
- Przeczytaj pełny tekst odpowiedzi przy każdym pytaniu, w którym zostałeś wymieniony, zaczynając od tych, które wymieniają cię najczęściej.
- Porównaj każde twierdzenie o tobie ze stronami z cenami, o produkcie i o firmie. Ceny, liczby i daty założenia dezaktualizują się najszybciej.
- Sprawdź, czy odpowiedź dotyczy ciebie. Firma o podobnej nazwie może zostać policzona jako twoja wzmianka.
- Otwórz cytowane strony. Jeśli nie ma wśród nich twojej własnej strony, silnik opisuje cię na podstawie cudzej strony.
- Zanim zaczniesz działać, policz powtórzenia. Najpierw popraw twierdzenie, które wraca w różnych dniach lub silnikach, i znajdź stronę, z której pochodzi.
Jak radzi sobie z tym Proofsource
Proofsource przechowuje pełny tekst i cytowane strony każdej odpowiedzi. W każdej odpowiedzi, która wymienia twoją markę, porównuje twierdzenia o tobie z faktami, które potwierdziłeś, i z faktami odczytanymi z twojej własnej strony, a werdykt „błędne” zachowuje tylko wtedy, gdy cytowane twierdzenie i poprawna wartość występują dosłownie. Ta sama błędna wartość widziana ponownie zwiększa licznik jednego alertu zamiast tworzyć nowy, a odpowiedzi o innej firmie o podobnej nazwie są oznaczane, a nie liczone jako twoje.
Gdzie możemy się mylić
Narzędzie sprawdzające to model językowy, który czyta w odniesieniu do zapisanych faktów. Ręcznie przeczytaliśmy 25 z 200 błędnych twierdzeń: 21 było wyraźnymi sprzecznościami, a 4 słabymi (brakujący szczegół odczytany jako błąd, przedział, lista faktów sprzeczna sama ze sobą i twierdzenie o innym produkcie). Ocenia też tylko twierdzenia pasujące do zapisanego faktu. Kolejnych 5330 twierdzeń nie miało pasującego faktu i nie zostało ocenionych, więc pomijamy błędy dotyczące wszystkiego, czego marka nigdy nie zapisała.
Własne fakty marki też mogą być nieaktualne, co zamieniłoby poprawną odpowiedź w fałszywe „błędne”. 80 marek to głównie małe firmy, które zarejestrowały się w Proofsource, a nie losowa próba, a dwanaście dni to krótkie okno, co ogranicza też szanse powtórzenia się błędnego faktu.
Porównanie zewnętrzne: Searchable poprosił pracowników 1704 marek o ocenę 32 556 faktów, które silniki AI podały o ich firmach, i ci oznaczyli 9,2% jako fałszywe, a najgorszą kategorią były ceny, z wynikiem 13,5%. Oceniający mogli oznaczyć wszystko, o czym wiedzieli, że jest błędne, w tym nieaktualne szczegóły, co jest szersze niż nasze sprawdzenie oparte na dopasowaniu faktów i zapewne tłumaczy, dlaczego ich wskaźnik jest wyższy. Uznali też Perplexity za najmniej dokładny z trzech porównywanych silników, odwrotnie niż w naszym zestawieniu.
