Sprawdziliśmy 199 stron w robots.txt i na serwerze
Jak sprawdzić, które crawlery AI blokuje twoja strona? Większość narzędzi, łącznie z naszym darmowym, czyta robots.txt i na tym kończy. Standard, na którym opiera się ten plik, RFC 9309, mówi wprost o jego granicach: „Te reguły nie są formą autoryzacji dostępu”. Reguła prosi crawler, żeby się nie zbliżał. To, czy żądanie dostanie stronę, rozstrzygają twój serwer, twój CDN i twój firewall.
Proofsource audytuje stronę każdej marki, którą śledzi. Dla każdej strony wzięliśmy ostatni audyt z okresu od 5 października do 20 listopada 2026: 199 stron, bez naszych własnych i testowych domen. Każdy audyt czyta robots.txt dla każdego crawlera AI, a potem raz na crawler prosi o stronę główną, wysyłając opublikowany User-Agent tego crawlera. Zapisuje, czy serwer podał stronę, czy odpowiedział kodem 401, 403, 429 albo weryfikacją botów.
Serwery odrzuciły GPTBot na 32 stronach, robots.txt zablokował go na 12
Serwer odprawił żądanie przedstawiające się jako GPTBot na 32 z 199 stron: 16,1% (od 11,6% do 21,8%). robots.txt wykluczał GPTBot na 12 stronach (6,0%).
Na 21 z tych 32 stron robots.txt wpuszczał każdy crawler AI, dla którego go czytaliśmy. Sprawdzenie samego pliku powiedziałoby wszystkim 21, że są otwarte dla AI.
Raz było odwrotnie. Jedna strona wykluczała GPTBot w robots.txt, a jej serwer i tak oddał stronę. Plik jest prośbą w obie strony.
Większość blokad na serwerze dotyczyła crawlerów treningowych i oszczędzała wyszukiwanie
Na 20 stronach serwer odrzucił GPTBot, ale obsłużył OAI-SearchBot i ChatGPT-User, a 15 z nich odrzuciło też ClaudeBot. Ten podział wygląda na wybór. Dokumentacja crawlerów OpenAI traktuje je jako osobne ustawienia: GPTBot zbiera dane treningowe, OAI-SearchBot szuka stron do pokazania w ChatGPT search. Odrzucenie pierwszego nie usuwa cię z drugiego.
13 stron odrzuciło crawlery, które wprowadzają strony do odpowiedzi
Dla cytowań liczą się agenci wyszukiwania i użytkownika. 13 stron (6,5%) odrzuciło co najmniej jednego z nich: OAI-SearchBot, ChatGPT-User albo PerplexityBot. robots.txt wykluczał je tylko na jednej z tych 13.
10 stron odrzuciło każdy crawler AI, który wysłaliśmy. 7 z tych 10 odpowiedziało weryfikacją botów Cloudflare zamiast zwykłej strony błędu. OpenAI podaje, że strona wykluczająca OAI-SearchBot nie pojawi się w odpowiedziach ChatGPT search, i prosi strony, które chcą się pojawiać, żeby oprócz nazwy w robots.txt dopuściły też opublikowane zakresy IP.
Części tych blokad pewnie nikt nie ustawił ręcznie
Cloudflare dodał we wrześniu 2024 opcję blokowania crawlerów AI jednym kliknięciem i podaje, że włączyło ją ponad milion klientów. Od 1 lipca 2025 pyta każdą nową domenę przy rejestracji, czy w ogóle wpuszczać crawlery AI. Ustawienie wybrane raz w panelu, albo przez osobę, która kiedyś zakładała konto, nie pojawi się w robots.txt. Jeśli crawler jest odrzucany, a nikt w zespole nie pamięta takiej decyzji, zajrzyj tam najpierw.
Sprawdź jedno i drugie w dziesięć minut
- Najpierw przeczytaj robots.txt pod kątem crawlerów odpowiedzi: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Potem osobno zdecyduj o crawlerach treningowych, GPTBot i ClaudeBot.
- Pobierz swoją stronę główną przez curl, ustawiając User-Agent na nazwę każdego crawlera. Kod 403, 429 albo strona weryfikacji oznacza, że serwer go odrzucił, bez względu na robots.txt.
- Otwórz ustawienia botów i crawlerów AI w swoim CDN i sprawdź, co jest ustawione dla każdego crawlera. W Cloudflare sprawdź zarówno ustawienia crawlerów AI, jak i każdą regułę blokującą boty AI.
- Jeśli twój firewall przepuszcza tylko zweryfikowane boty, upewnij się, że opublikowane zakresy IP firm AI są na liście dozwolonych, a potem poszukaj w logach odpowiedzi 403 dla tych crawlerów.
Jak sprawdza to Proofsource
Każdy audyt strony w Proofsource czyta robots.txt dla każdego crawlera AI i prosi o twoją stronę główną jako każdy z nich. Gdy robots.txt wpuszcza crawler, a serwer go odprawia, pierwszy skan pokazuje to w osobnym wierszu, razem z ustawieniem do zmiany.
Gdzie możemy się mylić
Nasze żądania wychodziły z naszych serwerów, nie z serwerów OpenAI, Anthropic czy Perplexity. Firewall, który sprawdza, skąd przychodzi żądanie, może odrzucić nasze i mimo to obsłużyć prawdziwy crawler. Dotyczy to przede wszystkim weryfikacji botów. Traktuj odmowę jako powód, żeby otworzyć ustawienia CDN, a nie jako dowód, że ChatGPT nie może cię przeczytać.
Jedno żądanie na crawler, tylko do strony głównej, w jednym momencie. 5 odmów to limity 429, które mogą minąć. Inne podstrony mogą mieć inne reguły.
199 stron marek śledzonych w Proofsource, co nie jest losową próbą internetu. Wcześniejsze audyty wysyłały pięć crawlerów, późniejsze osiem, więc liczby dla Claude-SearchBot, Claude-User i Perplexity-User dotyczą 189 stron. Nie widzieliśmy logów tych stron, więc nie wiemy, jak odpowiadano prawdziwym wizytom crawlerów.