OpenAI wysyła czterech agentów, a tylko jeden decyduje o wyszukiwaniu w ChatGPT
Krąży fragment robots.txt, który blokuje GPTBot. Mnóstwo osób go wkleiło i uznało, że sprawa ChatGPT jest załatwiona. Załatwili pewną sprawę. Tylko nie tę.
OpenAI dokumentuje czterech user agentów, każdy z własnym zadaniem. GPTBot pobiera treści, które mogą posłużyć do trenowania modeli bazowych. OAI-SearchBot służy do pokazywania witryn w funkcjach wyszukiwania ChatGPT, a strona OpenAI mówi, że witryny, które go wykluczyły, nie będą pokazywane w odpowiedziach wyszukiwania ChatGPT, choć nadal mogą się pojawiać jako linki nawigacyjne. ChatGPT-User pobiera stronę, gdy ktoś o coś pyta ChatGPT, a ponieważ zainicjował to użytkownik, OpenAI mówi, że reguły robots.txt mogą nie mieć zastosowania. OAI-AdsBot odwiedza tylko strony zgłoszone jako reklamy.
OpenAI wyraźnie zaznacza, że każde ustawienie jest niezależne. Możesz zezwolić OAI-SearchBot i zablokować GPTBot, co oznacza tak dla bycia wyszukiwalnym i nie dla bycia danymi treningowymi. To rozsądne stanowisko dla większości firm, a prawie żaden plik robots.txt, który czytaliśmy, faktycznie tego nie mówi. W obu przypadkach daj temu około doby: OpenAI mówi, że od zmiany robots.txt do nadrobienia jej przez ich systemy mija mniej więcej 24 godziny.
Anthropic dzieli to na trzy, a Perplexity cię ignoruje, gdy pyta człowiek
Anthropic ma trzech. ClaudeBot zbiera treści z sieci, które mogą trafić do trenowania. Claude-SearchBot indeksuje treści, by poprawić wyniki wyszukiwania. Claude-User pobiera stronę, gdy ktoś zadaje Claude pytanie. Strona pomocy Anthropic opisuje skutek każdego z nich: wyłącz Claude-SearchBot, a twoje treści przestaną być indeksowane do wyszukiwania, wyłącz Claude-User, a Claude przestanie pobierać twoją stronę w odpowiedzi na pytanie użytkownika.
Perplexity ma dwóch. PerplexityBot istnieje po to, by pokazywać i linkować witryny w wynikach Perplexity, i w ogóle nie służy do zbierania danych treningowych. Perplexity-User odwiedza stronę, gdy ktoś zadaje pytanie, a dokumentacja Perplexity mówi głośno to, czego zwykle się nie mówi: ponieważ pobranie zlecił użytkownik, ten mechanizm zasadniczo ignoruje robots.txt.
Zsumuj to, a ogólna reguła blokowania botów AI ląduje w dziwnym miejscu. Z dziewięciu powyższych agentów większość tych, które ludzie chcą zatrzymać, to te, które stawiają twój link przed kupującym, a jeden z nich i tak nie słucha robots.txt.
Google-Extended nie ma nic wspólnego z AI Overviews
To ten, który kosztuje ludzi najwięcej. Google-Extended to token robots.txt bez własnego ciągu user agent, który decyduje, czy pobrane treści trenują przyszłe modele Gemini i ugruntowują Gemini Apps. Dokumentacja crawlerów Google mówi wprost, że nie wpływa on na obecność witryny w Google Search i nie jest używany jako sygnał rankingowy. Zablokowanie go nic nie zmienia w AI Overviews.
AI Overviews i AI Mode to wyszukiwarka. Google mówi to we własnych wytycznych dla właścicieli witryn: AI jest wbudowane w wyszukiwarkę, a kontrolą są dyrektywy robots.txt dla Googlebot. Potem przychodzi zdanie, które łapie ludzi. Aby strona mogła być linkiem pomocniczym w AI Overviews lub AI Mode, musi być zaindeksowana i kwalifikować się do wyświetlania z fragmentem. Jeśli ty albo ktoś przed tobą ustawił nosnippet, data-nosnippet lub niski max-snippet, żeby odstraszyć scrapery, usunąłeś się z odpowiedzi AI, a twoja analityka nic o tym nie powiedziała.
Ten sam przewodnik Google mówi, że nie musisz tworzyć nowych plików czytelnych maszynowo ani plików tekstowych dla AI, by pojawić się w tych funkcjach. Od dawna mówimy ludziom, by nie traktowali llms.txt jako poprawki: żaden z obserwowanych przez nas silników nie dokumentuje go jako sygnału rankingowego. Dobrze, że Google podało ogólną wersję własnymi słowami.
Twój CDN mógł już odpowiedzieć na to za ciebie
1 lipca 2025 roku Cloudflare ogłosiło zmianę ustawienia domyślnego na blokowanie crawlerów AI, chyba że zapłacą za treści, i wypuściło zarządzany robots.txt, który serwuje w twoim imieniu i aktualizuje, gdy pojawiają się nowe boty. Każda nowa witryna dołączająca do Cloudflare jest teraz proszona o ten wybór przy konfiguracji.
Dla wielu firm uczciwa odpowiedź na pytanie, co mój robots.txt mówi o ChatGPT, brzmi więc: nie wiem, pisze go mój CDN. Reguła WAF wykonuje tę samą pracę jeszcze dokładniej. Żądanie nigdy nie dociera do twojego serwera, więc nic w logach ani analityce nie zapisuje wizyty, która się nie odbyła. Twoja strona nadal zajmuje pozycję, nadal się ładuje, nadal wygląda dobrze dla ciebie.
A pobranie, które dotrze, nadal musi wrócić z jakimiś słowami. Strona renderowana po stronie klienta daje tym agentom 200 i pusty kontener, co dla ciebie wygląda jak działająca strona, a dla nich jak zupełnie nic.
Sześć testów, które rozstrzygają to w jedno popołudnie
Nic z tego nie wymaga narzędzia. Wymaga curl, twoich logów i godziny. Prowadzimy to jako audyt dostępności dla botów z analityką crawlerów Cloudflare w tle, ale każdy punkt możesz zrobić sam.
- Pobierz swój robots.txt przez publiczny internet, a nie z repozytorium, i wyszukaj w nim każdy token z nazwy: OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot.
- Zrób to dla każdej subdomeny. docs.example.com i www.example.com to osobne pliki i osobne decyzje, a subdomena z dokumentacją to zwykle ta, którą chcesz mieć cytowaną.
- Pobierz stronę, którą chcesz mieć przytaczaną, używając opublikowanego ciągu user agent każdego agenta, i przeczytaj, co wraca. 200 z pustym divem to porażka, a nie zaliczenie.
- Sprawdź w CDN i WAF, czy nie ma zarządzanego robots.txt lub reguły dla botów, której nikt z obecnego zespołu nie napisał.
- Sprawdź nagłówek swoich najlepszych stron pod kątem noindex, nosnippet, data-nosnippet i max-snippet. Każde z nich może po cichu wykluczyć stronę z AI Overviews.
- Przeszukaj logi dostępu pod kątem nazw agentów, a potem porównaj adresy źródłowe z zakresami IP publikowanymi przez OpenAI, Perplexity i Anthropic. Ciąg user agent może wpisać każdy. Zakres adresów to część, która weryfikuje.
Gdzie możemy się mylić
Wszystko powyżej to silniki opisujące własnych crawlerów, a zarówno tokeny, jak i zachowanie się zmieniają. Strona Anthropic nosi datę kwiecień 2026, lista crawlerów Google była ostatnio aktualizowana w lipcu 2026, a OpenAI dodaje agenta za każdym razem, gdy wypuszcza produkt pobierający strony. Zanim zmienisz linijkę, przeczytaj aktualną dokumentację, a nie ten artykuł.
robots.txt to prośba. Firma mówiąca, że jej bot go respektuje, składa deklarację polityki, a nie stosuje mechanizm egzekwowania, a dwa z opisanych tu mechanizmów dokumentują, że w ogóle nie stosują go do żądań zainicjowanych przez użytkownika. Jeśli potrzebujesz, żeby czegoś nie przeczytano, robots.txt nigdy nie był właściwym narzędziem.
Wpuszczenie crawlera też nie zapewnia cytowania. Dostęp to podłoga, a nie odpowiedź. W próbkowanej przez nas kategorii listicle stanowiły 44% tego, co ChatGPT cytował przy pytaniu o najlepszy produkt, więc bycie czytelnym i bycie wybranym to dwa różne problemy. Nasze 44% to pojedynczy pomiar na pobranej przez nas próbie, a nie stała.
Mimo to warto poświęcić popołudnie, bo ta awaria jest z samej konstrukcji cicha. Nic nigdzie nie raportuje pobrania, które się nie odbyło.
