Czym jest robots.txt?
robots.txt to plik tekstowy w katalogu głównym strony, który mówi crawlerom, jakie ścieżki mogą pobierać, zgodnie z Robots Exclusion Protocol (RFC 9309). robots.txt to najstarsze narzędzie, jakim witryna steruje crawlerami, a w erze AI rozstrzyga więcej niż kiedykolwiek: trenowanie, indeksowanie dla wyszukiwania i pobieranie stron na prośbę użytkownika mają osobne boty, a reguła dla jednego nic nie mówi o pozostałych.
Jak działa robots.txt?
Działa jako zestaw grup: każda wymienia jeden lub więcej tokenów user-agent i listę ścieżek Allow i Disallow. Reguły są ustandaryzowane jako Robots Exclusion Protocol w RFC 9309 (Koster, Illyes, Zeller i Sassman, wrzesień 2022), który określa szczegóły stosowane przez crawlery (RFC 9309, odczyt 15 października 2026):
- Plik nazywa się robots.txt, małymi literami, leży na najwyższym poziomie hosta i jest serwowany jako zwykły tekst UTF-8.
- Gdy reguły są sprzeczne, wygrywa najbardziej szczegółowe dopasowanie: to z największą liczbą oktetów.
- Crawlery muszą przetworzyć co najmniej 500 kibibajtów pliku i nie powinny używać kopii z pamięci podręcznej dłużej niż 24 godziny, chyba że plik jest niedostępny.
- Odpowiedź 4xx pozwala crawlerowi pobierać wszystko; odpowiedź 5xx oznacza, że musi założyć, że wszystko jest zablokowane.
- Reguły nie są formą autoryzacji dostępu: to prośba, a wymieniona ścieżka jest publicznie widoczna.
Jak pisać reguły robots.txt dla crawlerów AI?
Nazwij każdego bota jego tokenem i decyduj o każdym zadaniu osobno. Najczęstsze podejście to pozostać widocznym w wyszukiwaniu AI, a treści trzymać z dala od trenowania: dopuść agentów wyszukiwania i pobierania na prośbę użytkownika, zablokuj crawlery treningowe, których nie chcesz.
Każdy host ma własny plik, więc docs.example.com potrzebuje własnych reguł; Anthropic prosi właścicieli witryn, by dodali swoje reguły w każdej subdomenie, którą chcą objąć (Anthropic, 7 kwietnia 2026).
# Widoczne w wyszukiwaniu AI i przy pobieraniu na prośbę użytkownika
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Poza trenowaniem modeli
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /Które błędy w robots.txt ukrywają Cię przed odpowiedziami AI?
Te kosztowne są zwykle przypadkowe:
- Zablokowanie agentów wyszukiwania (OAI-SearchBot, Claude-SearchBot, PerplexityBot), gdy chodziło o zablokowanie trenowania.
- Ogólna reguła pod User-agent: *, która łapie też crawlery wyszukiwania AI.
- Ustawienie CDN lub zabezpieczeń, które blokuje boty AI, zanim w ogóle przeczytają Twój robots.txt.
- Reguły na www, ale nie w subdomenie dokumentacji lub pomocy, którą silniki najchętniej cytują.
- Kontrola fragmentów na kluczowych stronach: Google mówi, że strona musi kwalifikować się do wyświetlenia z fragmentem, by pojawić się w AI Overviews lub AI Mode (Google Search Central).
O czym robots.txt decyduje w prawdziwym przykładzie?
Decyduje, czy Twoje strony w ogóle mogą walczyć o cytowania. W publicznym przykładzie Tesli (4 października 2026) Perplexity podało 375 cytowań, a Claude 351 w 25 pytaniach kupujących; tesla.com dostała z nich 3 i 1.
Witryna, której robots.txt blokuje agentów wyszukiwania tych silników, rezygnuje nawet z tego. Dopuszczenie ich samo nie zdobywa cytowań; dopuszcza Twoje strony do gry.
Jak sprawdzić robots.txt pod kątem crawlerów AI?
Pobierz aktualny plik z publicznego internetu, dla każdego hosta, i wyszukaj w nim każdy token z nazwy. Bezpłatny checker crawlerów AI czyta Twój aktualny robots.txt i pokazuje, które crawlery AI dopuszcza, a które blokuje, a Dostęp crawlerów w Proofsource sprawdza go razem z warstwą CDN i renderowanym tekstem.
Częste pytania o robots.txt
Czy robots.txt powstrzymuje AI przed używaniem moich treści?
Tylko w przypadku crawlerów, które go respektują, i dopiero od chwili, gdy go przeczytają. To prośba, a nie zamek, a agenci pobierający strony na prośbę użytkownika, tacy jak Perplexity-User, deklarują, że zwykle go ignorują.
Czy zablokowanie GPTBot usuwa mnie z ChatGPT?
Nie. GPTBot to crawler treningowy OpenAI. O wyszukiwaniu w ChatGPT decyduje OAI-SearchBot, a OpenAI mówi, że każde ustawienie jest niezależne.
Jak szybko działają zmiany w robots.txt?
RFC 9309 mówi, że crawlery nie powinny polegać na kopii z pamięci podręcznej dłużej niż 24 godziny, a OpenAI podaje, że jego systemy wyszukiwania potrzebują około 24 godzin, by uwzględnić zmianę.
Czy llms.txt zastępuje robots.txt?
Nie. robots.txt ustala reguły dla crawlerów. llms.txt to proponowana lista lektur dla modeli językowych i nie ma żadnego wpływu na dostęp.
Powiązane pojęcia
- GPTBot
GPTBot to crawler OpenAI, który zbiera treści mogące posłużyć do trenowania generatywnych modeli bazowych OpenAI.
- OAI-SearchBot
OAI-SearchBot to crawler OpenAI, który pokazuje strony w funkcjach wyszukiwania ChatGPT; strony, które go blokują, nie pojawiają się w odpowiedziach wyszukiwania ChatGPT.
- ClaudeBot
ClaudeBot to crawler Anthropic, który zbiera treści z sieci mogące posłużyć do trenowania modeli Claude firmy Anthropic.
- llms.txt
llms.txt to proponowany plik Markdown w katalogu głównym strony, który mówi modelom językowym, czym jest strona, i wymienia strony najbardziej warte przeczytania.
Sprawdź, gdzie AI cię pomija, i co naprawić.
Zobacz, które pytania kupujących wymieniają twoją markę, kto jest wymieniany zamiast niej i co naprawić. 200 odpowiedzi. 25 Prompts/pytanie. Najlepsze silniki AI. 2 dni. Za darmo. Bez karty.
Google AI OverviewsGoogle AI Mode
