Sprawdziliśmy 64 222 żądania crawlerów AI z listami samych twórców
Czy wizyty crawlerów AI w twoich logach są prawdziwe? Crawler przedstawia się w nagłówku user agent, czyli linijce tekstu w rodzaju „GPTBot/1.1”. Taką linijkę może wysłać każdy. OpenAI, Anthropic i Perplexity publikują adresy IP, z których korzystają ich boty, a żądanie pochodzi od nich tylko wtedy, gdy nazwa i adres się zgadzają.
Sześć stron podłączyło Cloudflare do Proofsource i żadna z nich nie jest nasza. Przy każdym żądaniu z nazwą crawlera AI porównaliśmy adres z listą publikowaną przez jego twórcę. Wzięliśmy okres od 12 października do 13 listopada 2026 roku, czyli 33 dni, i pięć botów: GPTBot, OAI-SearchBot i ChatGPT-User od OpenAI, ClaudeBot od Anthropic oraz PerplexityBot. Liczby to szacunki z próbkowanych danych o żądaniach z Cloudflare.
52,9% żądań nie przeszło kontroli, a wśród crawlerów najgorzej wypadł GPTBot
Z 64 222 żądań z nazwą jednego z pięciu botów 33 964 przyszło z adresu, którego twórca bota nie publikuje: 52,9%. W podziale na boty odsetek nieudanych wynosił 83,0% dla ChatGPT-User, 72,6% dla GPTBot, 61,0% dla ClaudeBot, 34,4% dla OAI-SearchBot i 34,1% dla PerplexityBot.
Googlebot, sprawdzany tak samo z listami Google, nie przeszedł kontroli w 20,7% żądań na tych samych stronach. Nazwy crawlerów AI podrabiano częściej niż nazwę Google, przynajmniej tutaj.
Trzy strony miały głównie podróbki, trzy były prawie czyste
Średnia ukrywa to, co najważniejsze. Na trzech stronach kontroli nie przeszło 69%, 84% i 96% żądań crawlerów AI. Na pozostałych trzech 4%, 5% i 7%. Na najgorszej stronie ClaudeBot wykonał 251 zweryfikowanych żądań i 7144 nieudane.
Jeden wskaźnik w stylu „ile ruchu botów AI jest fałszywe” niewiele więc znaczy. Twoja strona może być na którymkolwiek końcu, a powie ci to tylko kontrola twojego własnego ruchu.
200 z 253 nieudanych adresów podawało się też za bota innej firmy
Cloudflare udostępnia nam do trzech przykładowych adresów na bota, stronę i dzień. Bez naszych własnych serwerów 253 próbkowane adresy nie przeszły kontroli, podając się za jednego z pięciu botów. 200 z nich w innym żądaniu podawało się też za bota innej firmy, a 168 za boty trzech lub więcej firm. Jeden adres użył 12 różnych nazw botów od dziewięciu firm.
Żaden prawdziwy crawler tak nie robi. GPTBot pochodzi z listy OpenAI, a Googlebot z listy Google. Adres, który jest jednym i drugim, to ktoś, kto próbuje kolejnych nazw, aż któraś przejdzie, najczęściej z wynajętych serwerów w chmurze.
Listy pomijają część prawdziwego ruchu, więc sprawdzaj każdą listę
Kontrola nie jest też idealna w drugą stronę. Claude-User, agent, którym Claude czyta stronę wskazaną przez użytkownika, nie przeszedł kontroli w 97,5% żądań na tych stronach. Mniej więcej połowa próbkowanych niepowodzeń pochodziła z 160.79.104.0/21, zakresu, który Anthropic na stronie z adresami IP swojego API podaje jako źródło wychodzących wywołań pobierania stron i wyszukiwania w sieci. To nie jest jego lista crawlerów.
Te wizyty są najpewniej prawdziwe, a kontrola oparta tylko na liście crawlerów oznacza je jako fałszywe. Dlatego pominęliśmy Claude-User w 52,9%. Jeśli sprawdzasz ręcznie, sprawdź każdy zakres, który firma publikuje dla swoich narzędzi pobierających, a nie tylko plik crawlerów.
Co byśmy zrobili
- Licz wizyty crawlerów AI po zweryfikowanym adresie, nie po nazwie. W panelu liczącym nazwy ponad połowa może być przebraniem.
- Korzystaj z listy każdego twórcy: openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json, claude.com/crawling/bots.json wraz z zakresami API Anthropic oraz perplexity.ai/perplexitybot.json.
- Jeśli twoja zapora wpuszcza boty po nazwie, sprawdzaj też adres. Dokumentacja Perplexity pokazuje regułę Cloudflare, która łączy każdy user agent z jego zakresami IP.
- Nie blokuj bota po nazwie z powodu tego, co robili podszywający się. Podróbki to nie ten bot, a zablokowanie prawdziwego OAI-SearchBot lub PerplexityBot wyklucza cię z ich wyników wyszukiwania.
Jak pokazuje to Proofsource
Gdy strona podłączy Cloudflare, Proofsource porównuje adres każdego żądania crawlera AI z listą publikowaną przez jego twórcę i dla każdego bota pokazuje osobno żądania zweryfikowane i nieudane. Boty, których twórcy nie publikują żadnej listy, są oznaczane jako niemożliwe do zweryfikowania, a nie liczone jako prawdziwe lub fałszywe. Nasza kontrola ma opisaną wyżej lukę w Claude-User i dodajemy do niej zakresy API Anthropic.
Gdzie możemy się mylić
Sześć stron to mała próba, a podłączyły one Cloudflare do narzędzia do widoczności, więc mogą nie przypominać przeciętnej strony. Rozrzut między nimi znaczy więcej niż 52,9%.
Lista może być nieaktualna lub niepełna, co pokazuje Claude-User. Część niepowodzeń innych botów może być prawdziwym ruchem z adresów, których jeszcze nie ma na liście. Adresy podające się za boty kilku firm sprawiają, że w większości przypadków jest to mało prawdopodobne.
Nasza własna kontrola stron wysyła kilka żądań pod tymi nazwami botów. W tym okresie mogło ich być najwyżej 300; po usunięciu ich wszystkich zostaje 52,7%.
Żądania nie są niezależne, a jeden bardzo aktywny scraper może przesunąć wynik strony. Jedna zewnętrzna analiza, jednej nowej strony przez dwa tygodnie, uznała za prawdziwe 6 z 33 rzekomych wizyt asystentów AI. To inna strona i inna metoda, ale wniosek jest podobny.