Notatki z terenu4 min czytania

Na 21 z 32 stron, które odprawiły crawlery AI, robots.txt je wpuszczał

Narzędzie do sprawdzania robots.txt czyta plik i na tym kończy. To serwer, CDN i firewall decydują, czy crawler naprawdę dostanie stronę, a w naszej próbie odprawiały crawlery prawie trzy razy częściej niż robots.txt.

Sprawdziliśmy 199 stron w robots.txt i na serwerze

Jak sprawdzić, które crawlery AI blokuje twoja strona? Większość narzędzi, łącznie z naszym darmowym, czyta robots.txt i na tym kończy. Standard, na którym opiera się ten plik, RFC 9309, mówi wprost o jego granicach: „Te reguły nie są formą autoryzacji dostępu”. Reguła prosi crawler, żeby się nie zbliżał. To, czy żądanie dostanie stronę, rozstrzygają twój serwer, twój CDN i twój firewall.

Proofsource audytuje stronę każdej marki, którą śledzi. Dla każdej strony wzięliśmy ostatni audyt z okresu od 5 października do 20 listopada 2026: 199 stron, bez naszych własnych i testowych domen. Każdy audyt czyta robots.txt dla każdego crawlera AI, a potem raz na crawler prosi o stronę główną, wysyłając opublikowany User-Agent tego crawlera. Zapisuje, czy serwer podał stronę, czy odpowiedział kodem 401, 403, 429 albo weryfikacją botów.

Serwery odrzuciły GPTBot na 32 stronach, robots.txt zablokował go na 12

Serwer odprawił żądanie przedstawiające się jako GPTBot na 32 z 199 stron: 16,1% (od 11,6% do 21,8%). robots.txt wykluczał GPTBot na 12 stronach (6,0%).

Na 21 z tych 32 stron robots.txt wpuszczał każdy crawler AI, dla którego go czytaliśmy. Sprawdzenie samego pliku powiedziałoby wszystkim 21, że są otwarte dla AI.

Raz było odwrotnie. Jedna strona wykluczała GPTBot w robots.txt, a jej serwer i tak oddał stronę. Plik jest prośbą w obie strony.

Większość blokad na serwerze dotyczyła crawlerów treningowych i oszczędzała wyszukiwanie

Na 20 stronach serwer odrzucił GPTBot, ale obsłużył OAI-SearchBot i ChatGPT-User, a 15 z nich odrzuciło też ClaudeBot. Ten podział wygląda na wybór. Dokumentacja crawlerów OpenAI traktuje je jako osobne ustawienia: GPTBot zbiera dane treningowe, OAI-SearchBot szuka stron do pokazania w ChatGPT search. Odrzucenie pierwszego nie usuwa cię z drugiego.

13 stron odrzuciło crawlery, które wprowadzają strony do odpowiedzi

Dla cytowań liczą się agenci wyszukiwania i użytkownika. 13 stron (6,5%) odrzuciło co najmniej jednego z nich: OAI-SearchBot, ChatGPT-User albo PerplexityBot. robots.txt wykluczał je tylko na jednej z tych 13.

10 stron odrzuciło każdy crawler AI, który wysłaliśmy. 7 z tych 10 odpowiedziało weryfikacją botów Cloudflare zamiast zwykłej strony błędu. OpenAI podaje, że strona wykluczająca OAI-SearchBot nie pojawi się w odpowiedziach ChatGPT search, i prosi strony, które chcą się pojawiać, żeby oprócz nazwy w robots.txt dopuściły też opublikowane zakresy IP.

Części tych blokad pewnie nikt nie ustawił ręcznie

Cloudflare dodał we wrześniu 2024 opcję blokowania crawlerów AI jednym kliknięciem i podaje, że włączyło ją ponad milion klientów. Od 1 lipca 2025 pyta każdą nową domenę przy rejestracji, czy w ogóle wpuszczać crawlery AI. Ustawienie wybrane raz w panelu, albo przez osobę, która kiedyś zakładała konto, nie pojawi się w robots.txt. Jeśli crawler jest odrzucany, a nikt w zespole nie pamięta takiej decyzji, zajrzyj tam najpierw.

Sprawdź jedno i drugie w dziesięć minut

  • Najpierw przeczytaj robots.txt pod kątem crawlerów odpowiedzi: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Potem osobno zdecyduj o crawlerach treningowych, GPTBot i ClaudeBot.
  • Pobierz swoją stronę główną przez curl, ustawiając User-Agent na nazwę każdego crawlera. Kod 403, 429 albo strona weryfikacji oznacza, że serwer go odrzucił, bez względu na robots.txt.
  • Otwórz ustawienia botów i crawlerów AI w swoim CDN i sprawdź, co jest ustawione dla każdego crawlera. W Cloudflare sprawdź zarówno ustawienia crawlerów AI, jak i każdą regułę blokującą boty AI.
  • Jeśli twój firewall przepuszcza tylko zweryfikowane boty, upewnij się, że opublikowane zakresy IP firm AI są na liście dozwolonych, a potem poszukaj w logach odpowiedzi 403 dla tych crawlerów.

Jak sprawdza to Proofsource

Każdy audyt strony w Proofsource czyta robots.txt dla każdego crawlera AI i prosi o twoją stronę główną jako każdy z nich. Gdy robots.txt wpuszcza crawler, a serwer go odprawia, pierwszy skan pokazuje to w osobnym wierszu, razem z ustawieniem do zmiany.

Gdzie możemy się mylić

Nasze żądania wychodziły z naszych serwerów, nie z serwerów OpenAI, Anthropic czy Perplexity. Firewall, który sprawdza, skąd przychodzi żądanie, może odrzucić nasze i mimo to obsłużyć prawdziwy crawler. Dotyczy to przede wszystkim weryfikacji botów. Traktuj odmowę jako powód, żeby otworzyć ustawienia CDN, a nie jako dowód, że ChatGPT nie może cię przeczytać.

Jedno żądanie na crawler, tylko do strony głównej, w jednym momencie. 5 odmów to limity 429, które mogą minąć. Inne podstrony mogą mieć inne reguły.

199 stron marek śledzonych w Proofsource, co nie jest losową próbą internetu. Wcześniejsze audyty wysyłały pięć crawlerów, późniejsze osiem, więc liczby dla Claude-SearchBot, Claude-User i Perplexity-User dotyczą 189 stron. Nie widzieliśmy logów tych stron, więc nie wiemy, jak odpowiadano prawdziwym wizytom crawlerów.

Skąd pochodzą liczby z zewnątrz

  1. RFC 9309: Robots Exclusion Protocol · IETF
  2. Overview of OpenAI Crawlers · OpenAI
  3. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large · Cloudflare
  4. Darmowe sprawdzenie robots.txt dla crawlerów AI (GPTBot) · Proofsource
Wszystkie notatki

Pytania

Czy robots.txt blokuje crawlery AI?

Prosi je, żeby się nie zbliżały, a duże firmy AI deklarują, że tego przestrzegają, ale nie zatrzymuje żadnego żądania. W naszym audycie 199 stron jedna strona wykluczała GPTBot w robots.txt, a jej serwer i tak podał stronę.

Skąd mam wiedzieć, czy Cloudflare blokuje ChatGPT?

Pobierz stronę główną z User-Agent ustawionym na OAI-SearchBot i sprawdź, czy dostajesz 403 albo stronę weryfikacji, a potem przeczytaj ustawienia crawlerów AI w Cloudflare. W naszej próbie 7 z 10 stron, które odrzuciły każdy crawler AI, zrobiło to weryfikacją botów Cloudflare.

Czy po zablokowaniu GPTBot zniknę z ChatGPT?

Nie z ChatGPT search. OpenAI opisuje GPTBot (trening) i OAI-SearchBot (wyszukiwanie) jako osobne ustawienia. Na 20 z 199 sprawdzonych stron serwer odrzucił GPTBot, a mimo to obsłużył OAI-SearchBot.

Twoje własne liczby pobiły nasz najlepszy wpis.

Krótka lista w Twojej kategorii powstaje właśnie teraz, niezależnie od tego, czy ktoś czyta tę stronę. Bezpłatny okres próbny, 25 pytań w czterech silnikach dziś, pokaże Ci, czy jest na niej Twoja nazwa.

100 odpowiedzi. 25 Prompts/pytanie. Najlepsze silniki AI. Za darmo.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI