Zwykłe pobranie pominęło główny tekst kluczowej podstrony na 7 z 72 stron
Gdy ChatGPT czyta stronę dla kogoś, bierze HTML odesłany przez serwer i na tym kończy. Tak samo czytnik Claude i crawler Perplexity. Niczego, co skrypt dopisze po załadowaniu, nie ma w tym, co dostają. Pytanie brzmi więc, czy słowa, które mają znaczenie, są w tej pierwszej odpowiedzi.
Od 5 do 17 października 2026 roku Proofsource sprawdzał stronę główną i maksymalnie cztery kluczowe podstrony każdej marki obserwowanej w jego przestrzeniach roboczych. Każdą podstronę pobieraliśmy dwa razy: naszym własnym crawlerem, czyli zwykłym żądaniem bez uruchamiania skryptów, oraz przeglądarką, która je uruchamia. Wersję z przeglądarki podzieliliśmy na bloki tekstu i policzyliśmy, jaki odsetek jej słów pojawił się też w zwykłym pobraniu.
211 podstron na 72 stronach dało użyteczny odczyt. Mediana wyniku wyniosła 95%, a 144 z 211 podstron uzyskały 90% lub więcej. 24 podstrony uzyskały mniej niż połowę.
Brakujący tekst na wszystkich 24 przeczytaliśmy ręcznie. Dwanaście z nich, na 7 stronach, straciło tekst, który przeczytałby kupujący. To 7 z 72 stron, czyli 9,7% (przedział 95%: od 4,8% do 18,7%).
Połowa podstron z wynikiem poniżej 50% okazała się fałszywym alarmem
Pozostałe dwanaście wyglądało groźnie, ale takie nie było. Na czterech podstronach z jednej witryny brakującym tekstem był panel zgody na cookie. Pięć podstron dużej firmy programistycznej uzyskało od 7% do 16%, bo kod osadzonych obrazów liczył się jako słowa. Resztę stanowiły formularz opinii, licznik transakcji na żywo i odtwarzacz muzyki.
Zanim zaufasz wynikowi, przeczytaj bloki. Procent nie odróżni brakującej tabeli cenowej od brakującego banera cookie. Lista brakujących elementów tak.
Co zniknęło: nagłówki, case studies i tabela cenowa
Dwanaście prawdziwych strat, po anonimizacji:
- Trzy strony główne wróciły z jednym lub dwoma słowami. Dwie dały zwykłemu pobraniu nazwę firmy i nic więcej.
- Indeks case studies firmy programistycznej i jedno case study uzyskały 0%. Każdy cytat klienta był wpisywany przez skrypt.
- Strona cenowa narzędzia dla programistów uzyskała 15%. Limit darmowego planu, warunki okresu próbnego i limity planów pojawiały się dopiero po załadowaniu.
- Na jednej witrynie pusty był także indeks bloga i strona kontaktowa, razem ze stroną główną.
- Portfolio projektanta straciło biogram na stronie głównej i całą listę usług.
- Strona główna i strona usług dużego marketplace’u zachowały 18% i 7%. Oferty, ceny i oceny ładują się po samej stronie.
Strony produktowe wypadły najlepiej: 1 z 31 poniżej połowy
Strony produktowe były najbezpieczniejszym typem, jaki sprawdzaliśmy: 31 dało odczyt, mediana wyniosła 92%, a jedynej poniżej połowy brakowało tylko formularza opinii. Najbardziej ryzykowne były strony główne: 8 z 72 uzyskało mniej niż połowę, a pięć z dwunastu prawdziwych strat to strony główne.
Google renderuje stronę. Czytnik ChatGPT, Claude i Perplexity nie.
Vercel i MERJ ustalili w grudniu 2024 roku, że żaden z głównych crawlerów AI nie renderował JavaScriptu, w tym trzy crawlery OpenAI, ClaudeBot i PerplexityBot. Gemini korzystał z infrastruktury Googlebota i renderował.
Nowszy log mówi to samo o czytnikach, które pobierają stronę, gdy ktoś o coś pyta. Forge policzył 30 dni żądań do serwisu informacyjnego, do 24 września 2026 roku. ChatGPT-User wykonał 37 045 odczytów stron i przy ładowaniu strony nie pobrał żadnego skryptu. Claude-User wykonał 10 028, a PerplexityBot 3193, również bez skryptów. W teście następnego dnia ChatGPT, Claude i Gemini podały tylko słowo kodowe zapisane w HTML, a żadnego z dwóch dodanych przez skrypt.
Google działa inaczej. Jego dokumentacja mówi, że stronę renderuje bezgłowy Chromium, a Google indeksuje wyrenderowany HTML, i że strona musi tylko być zindeksowana i kwalifikować się do fragmentu, by pojawić się w AI Overviews lub AI Mode. Tekst dopisywany przez twoje skrypty może więc trafić do odpowiedzi AI Google, a jednocześnie nie być widoczny, gdy ChatGPT czyta tę samą stronę na żywo.
Jedna otwarta kwestia: 30 września pewien programista zgłosił, że crawlery wyszukiwania i trenowania OpenAI zaczęły od 25 września renderować strony w jego witrynach na Next.js. OpenAI tego nie ogłosiło, a nie zmieniłoby to tego, co pokazał ChatGPT-User powyżej.
Sprawdź własne podstrony w dziesięć minut
Na pierwszy rzut oka nie potrzebujesz żadnego narzędzia.
- Wybierz trzy ważne zdania na podstronie: nagłówek, cenę, cytat klienta.
- Otwórz źródło strony (nie inspektor elementów, który pokazuje stronę wyrenderowaną) i wyszukaj każde z nich. W terminalu pobierz URL przez curl i przeszukaj go grepem.
- Wyłącz JavaScript dla tej witryny w ustawieniach przeglądarki i odśwież stronę. To, co zostało, to mniej więcej to, co dostają te crawlery.
- Pomiń brakujące banery cookie, widżety czatu i wyskakujące okna. Nagłówki, opisy produktów, ceny, case studies i FAQ przenieś do HTML serwera, korzystając z renderowania po stronie serwera, generowania statycznego lub prerenderingu.
- Jeśli zwykłe pobranie dostaje błąd 403, a przeglądarka ładuje stronę, sprawdź CDN lub zaporę. Cztery kolejne witryny odmówiły tak naszemu crawlerowi. Pominęliśmy je, bo zapora blokująca nieznanego bota może wciąż przepuszczać zweryfikowane crawlery AI.
Jak radzi sobie z tym Proofsource
Proofsource przeprowadza to sprawdzenie na stronie głównej każdej obserwowanej marki i maksymalnie czterech kluczowych podstronach: zwykłe pobranie bez uruchamiania skryptów, zgodne z robots.txt, porównane z wyrenderowaną kopią tej samej podstrony. Pokazuje odsetek słów, które dostało zwykłe pobranie, wypisuje brakujące bloki obok tych, które odczytało, i podpowiada poprawki dla tej podstrony. Nasza własna strona główna uzyskała 0%, gdy sprawdziliśmy ją 4 października. Zwykłe pobranie dostało 9 z jej 2416 słów. Witryna jest teraz prerenderowana, a zwykłe pobranie strony głównej zwraca jej tekst.
Gdzie możemy się mylić
Nasz crawler to nie GPTBot. Przedstawia się jako ProofBot, a witryna, która traktuje boty według nazwy, może serwować crawlerom AI coś innego. Cztery witryny, które nam odmówiły, to widoczny przypadek.
Podział na prawdziwe straty i fałszywe alarmy to nasza ręczna ocena ograniczonych próbek brakującego tekstu, a czytaliśmy tylko podstrony z wynikiem poniżej 50%. Podstrona może mieć 78% i wciąż nie mieć czegoś ważnego: jedna strona główna z takim wynikiem straciła kroki opisujące, jak działa produkt, i listę integracji. 7 witryn to więc dolna granica dla podstron, które straciły coś ważnego. Reguła punktacji ma też znany szum, jak kod osadzonych obrazów, który zaniża wyniki.
Treści personalizowane, takie jak oferty marketplace’u, mogą różnić się między odwiedzającymi. Odczyt każdej witryny to jej ostatnie sprawdzenie między 5 a 17 października, a witryny się zmieniają. 72 witryny to głównie małe firmy z przestrzeniami roboczymi w Proofsource oraz kilka większych marek, które obserwują, a nie losowa próba sieci.
Dowody zewnętrzne też są skąpe: badanie z 2024 roku, log jednego serwisu informacyjnego i zgłoszenie jednego programisty.
