Z dokładnym akapitem w ręku osiem narzędzi wskazało złe źródło w 60% przypadków
Oto test, który powinien być łatwy. Weź akapit z opublikowanego artykułu, wklej go do narzędzia wyszukiwania AI i zapytaj, z którego artykułu pochodzi, kto go opublikował i jaki jest URL. Tekst leży w prompcie. Niczego nie trzeba zgadywać.
Tow Center for Digital Journalism przeprowadziło dokładnie to w lutym 2025 roku na ośmiu narzędziach: ChatGPT Search, Perplexity, Perplexity Pro, DeepSeek Search, Copilot, Grok 2, Grok 3 w wersji beta i Gemini. Dwudziestu wydawców, po dziesięć artykułów, łącznie 1600 zapytań. Fragmenty dobrano tak, by po wklejeniu do zwykłej wyszukiwarki Google oryginał pojawiał się wśród trzech pierwszych wyników.
Łącznie narzędzia odpowiedziały błędnie na ponad 60% zapytań. Perplexity wypadło najlepiej w grupie i nadal pomyliło się w 37%. Grok 3 pomylił się w 94%. DeepSeek przypisał fragment złemu źródłu 115 razy na 200.
Warto zatrzymać się przy pewności siebie. ChatGPT błędnie zidentyfikował 134 artykuły i zasygnalizował jakąkolwiek niepewność piętnaście razy na dwieście odpowiedzi. Ani razu nie odmówił odpowiedzi.
Dokumentacja Perplexity mówi, że znaczniki zależą od promptu, a prawdą jest lista wyników
To brzmi jak problem jakości modelu. Bliżej temu do problemu architektury, a architekturę można wyczytać z dokumentacji dla deweloperów samych dostawców.
Wyszukiwanie w sieci przez Agent API od Perplexity zwraca dwa osobne obiekty. Jeden to element search_results z wykonanymi zapytaniami i każdym pobranym wynikiem, każdy z id, url, title i snippet. Drugi to wiadomość asystenta, czyli tekst odpowiedzi. Znaczniki w nawiasach, które wszyscy traktują jak cytowania, żyją w tym tekście odpowiedzi, a strona referencyjna Perplexity dla tego narzędzia mówi, że to, czy model w ogóle je doda, zależy od promptu, więc należy o nie wyraźnie poprosić. Potem mówi deweloperom, na czym polegać zamiast tego: niezależnie od znaczników traktuj pola id i url każdego wpisu search_results jako źródło prawdy o cytowaniach.
Przeczytaj to oczami marki. Dostawca mówi własnym deweloperom, że widoczne cytowanie nie jest wiarygodne, a pobrany zestaw jest. Każdy, kto mierzy widoczność w AI z zewnątrz, widzi tylko widoczne cytowanie.
Ta sama dokumentacja ostrzega przed proszeniem modelu o podawanie URL w ustrukturyzowanym wyniku w ogóle, bo model piszący linki może tworzyć zniekształcone lub zmyślone, i odsyła deweloperów z powrotem do wyników wyszukiwania. Tow Center zmierzyło konsumencką wersję tej awarii. Ponad połowa odpowiedzi Gemini i Grok 3 zawierała zmyślone lub niedziałające URL, a 154 z 200 cytowań Grok 3 prowadziło do stron z błędem.
Cytowanie wyodrębnione przez system niesie przesunięcia znaków
Zestaw to z cytowaniem, które system oblicza, zamiast żeby model je pisał. Funkcja Citations w Claude API od Anthropic zwraca dla każdego twierdzenia w odpowiedzi blok z dokładnym cited_text, indeksem dokumentu, z którego pochodzi, oraz początkowym i końcowym przesunięciem znaków w tym dokumencie. Dokumentacja wprost wyjaśnia, dlaczego ten kształt ma znaczenie: ponieważ API parsuje cytowania i wyodrębnia cited_text bezpośrednio, cytowania na pewno zawierają prawidłowe wskaźniki do dostarczonych dokumentów.
API groundingu Google dla Gemini zbudowano na tej samej zasadzie. Ugruntowana odpowiedź wraca z wyszukiwaniami, które model faktycznie wykonał, oraz adnotacjami url_citation, z których każda niesie start_index i end_index w tekście odpowiedzi, więc można podświetlić dokładny fragment i wskazać stojący za nim URL.
Mechanizm więc istnieje. Cytowanie, które jest wskaźnikiem obliczonym przez system, da się sprawdzić. Cytowanie, które jest ciągiem znaków napisanym przez model, to twierdzenie i zasługuje na ten sam sceptycyzm co każde inne twierdzenie w odpowiedzi. Powierzchnie, z których kupujący faktycznie korzystają, pokazują głównie ten drugi rodzaj.
Twój akapit w cudzej domenie zbiera zasługę
Tow Center znalazło jedną awarię, która uderza w marki mocniej niż w kogokolwiek innego. Narzędzia raz po raz cytowały syndykowane lub przedrukowane kopie zamiast oryginału. Perplexity Pro cytowało przedrukowane wersje artykułów Texas Tribune w trzech z dziesięciu zapytań, a Perplexity ma partnerstwo z Texas Tribune. ChatGPT zacytował przedruk artykułu USA Today w Yahoo News.
Wersja tego u marki jest nudniejsza i znacznie częstsza. Twoja strona porównawcza wyjaśnia prawdziwą różnicę między dwoma poziomami planów. Blog z zestawieniem ją parafrazuje. Gdy ktoś zadaje pytanie o kategorię, zestawienie dostaje link, twoje sformułowania są w odpowiedzi, a twojej domeny nie ma nigdzie na stronie.
W naszym własnym próbkowaniu, przy pytaniu o najlepszy produkt w kategorii, w jedynej testowanej przez nas kategorii, listicle i zestawienia stanowiły około 44% źródeł cytowanych przez ChatGPT. To nasz wynik, ograniczony do tego, co sprawdziliśmy. Pasuje jednak do kształtu problemu: miejsca na cytowania to mała, sporna powierzchnia, a strony osób trzecich bardzo dobrze je zajmują.
Licz trzy wyniki zamiast jednego
Jeśli lista linków to niewiarygodny odczyt tego, czego silnik użył, pojedyncza liczba cytowań to zły instrument. Trzy pytania dają się czysto rozdzielić i każde prowadzi gdzie indziej.
- Czy odpowiedź w ogóle cię wymieniła? Obecność w treści to osobny pomiar i zmienia się niezależnie od tego, czy pojawił się link.
- Czy odpowiedź przypisała zasługę tobie, czy stronie z twoim materiałem? Jeśli to drugie, masz problem z umieszczeniem i przepisanie własnej strony go nie ruszy.
- Czy silnik w ogóle mógł do ciebie dotrzeć? Brak cytowania dość często ma nudne wyjaśnienie, a sprawdzenie dostępności dla botów rozstrzyga to, zanim ktokolwiek cokolwiek przepisze.
Co z tym robimy
Dlatego Proofsource prowadzi wykrywanie luk w cytowaniach i cytowań widm zamiast raportować jedną liczbę, i dlatego każdy punkt danych jest oznaczony pochodzeniem: zaobserwowany w odpowiedzi albo wygenerowany. Odpowiedź, która cię przytacza bez linku, i odpowiedź, która nigdy cię nie widziała, wyglądają identycznie na panelu liczącym linki.
Dlatego też próbkowanie zapisuje tekst odpowiedzi, a nie tylko listę źródeł. Jeśli twoje sformułowania pojawiają się w treści, a w źródłach pojawia się czyjaś domena, to jest wynik i to inne zadanie niż brak pobrania.
Gdzie możemy się mylić
Testy Tow Center przeprowadzono w lutym 2025 roku, a opublikowano w marcu. To osiemnaście miesięcy temu, a każdy produkt z zestawu wypuścił od tamtej pory wiele wersji. Traktuj 60% jako dowód, że ta klasa awarii jest prawdziwa i mierzalna, a nie jako dzisiejszy odsetek błędów. Nie powtórzyliśmy tego testu.
Sekcja ograniczeń samego badania mówi, że każde zapytanie uruchomiono raz i że każdy, kto uruchomi te same prompty ponownie, najpewniej dostanie inne wyniki. Trafność przypisania sama w sobie jest zaszumionym pomiarem.
Wklejenie fragmentu i pytanie, kto go napisał, to sonda pochodzenia, a nie sposób, w jaki kupujący robi zakupy. Bezpośrednio obciąża przypisanie, o to w niej chodzi, ale nie mówi, jak często przypisanie zawodzi w zwykłym pytaniu o kategorię.
Opisane wyżej zachowanie API dotyczy powierzchni dla deweloperów. ChatGPT, AI Overviews i własna strona Perplexity nie muszą działać tą samą ścieżką kodu, a my rozumujemy na podstawie udokumentowanego zachowania dla deweloperów, a nie z wnętrza produktów konsumenckich.
I uczciwa granica naszej własnej rady: z zewnątrz nie zawsze da się odróżnić stronę, którą pobrano i nie przypisano jej zasługi, od strony, której nigdy nie pobrano. Sprawdzenie dostępu crawlerów zawęża to. Szukanie własnych sformułowań w tekście odpowiedzi zawęża to dalej. Żadne z nich tego nie zamyka.
