Sprawdzanie robots.txt dla crawlerów AI i Googlebota
Bezpłatny checker robots.txt. Wklej swój robots.txt, a sprawdzimy go dla 16 crawlerów: botów AI od OpenAI, Anthropic i Perplexity oraz Googlebota i Bingbota, i pokażemy, czy każdy ma dostęp, jest zablokowany czy niewymieniony, wraz z linią, która o tym decyduje.
Szesnaście crawlerów, AI i wyszukiwarek, i do czego służy każdy z nich.
Wyniki pojawią się tutaj. Nic nie jest zapisywane i nie bierze w tym udziału żaden model AI: to zwykły odczyt pliku robots.txt.
GPTBot · OpenAI · Szkolenie
Zbiera strony do trenowania modeli OpenAI.
OAI-SearchBot · OpenAI · Szukaj
Indeksuje strony, by wyszukiwarka ChatGPT mogła je cytować.
ChatGPT-User · OpenAI · Pobranie na żądanie użytkownika
Otwiera stronę, gdy prosi o to użytkownik ChatGPT.
ClaudeBot · Anthropic · Szkolenie
Zbiera strony do trenowania modeli Claude.
Claude-SearchBot · Anthropic · Szukaj
Indeksuje strony, by Claude mógł je cytować w odpowiedziach wyszukiwania.
Claude-User · Anthropic · Pobranie na żądanie użytkownika
Otwiera stronę, gdy prosi o to użytkownik Claude.
anthropic-ai · Anthropic · Szkolenie
Starszy token Anthropic, który wiele plików robots.txt wciąż wymienia.
PerplexityBot · Perplexity · Szukaj
Indeksuje strony, by Perplexity mogło je cytować w odpowiedziach.
Perplexity-User · Perplexity · Pobranie na żądanie użytkownika
Otwiera stronę, gdy prosi o to użytkownik Perplexity.
Google-Extended · Google · Szkolenie
Decyduje, czy Gemini może trenować na stronach, które indeksuje Googlebot. Wyszukiwarka pozostaje bez zmian.
Googlebot · Google · Szukaj
Wyszukiwarka Google, z której korzystają AI Overviews i AI Mode.
Bingbot · Microsoft · Szukaj
Wyszukiwarka Bing, indeks, na którym opierają się odpowiedzi Copilot.
Applebot-Extended · Apple · Szkolenie
Decyduje, czy Apple może trenować swoje modele na stronach, które indeksuje Applebot.
CCBot · Common Crawl · Szkolenie
Buduje otwarty zbiór danych Common Crawl, na którym trenuje wiele modeli.
Meta-ExternalAgent · Meta · Szkolenie
Zbiera strony do trenowania modeli Meta AI.
Bytespider · ByteDance · Szkolenie
Zbiera strony do trenowania modeli ByteDance.
Reguły są zgodne z RFC 9309: crawler przestrzega grup, które go wymieniają, a w przeciwnym razie grupy *; wygrywa najdłuższa pasująca reguła, a przy remisie wygrywa Allow. Werdykt dotyczy strony głównej. Crawlery treningowe zasilają przyszłe modele; crawlery wyszukiwania decydują, czy odpowiedź AI może Cię dziś zacytować; pobrania na żądanie użytkownika następują, gdy ktoś prosi asystenta o otwarcie Twojej strony.
robots.txt to tylko połowa dostępu. Ustawienie botów w CDN może nadal odprawić crawlera, na którego robots.txt pozwala, a ta kontrola tego nie widzi; Dostęp crawlerów w Proofsource pobiera Twoje strony jako każdy crawler, żeby to sprawdzić. Przeczytaj, dlaczego zablokowanie GPTBota nie usuwa Cię z ChatGPT, sprawdź swój plik walidatorem llms.txt albo zacznij od przewodnika po widoczności w AI.
Co oznaczają odpowiedzi.
Czy blokować crawlery trenujące?
To decyzja biznesowa. Zablokowanie GPTBot lub ClaudeBot trzyma Twoje strony z dala od przyszłych zbiorów treningowych, ale nie powstrzymuje ChatGPT ani Claude przed cytowaniem cię przez ich crawlery wyszukiwania. Zablokowanie OAI-SearchBot, Claude-SearchBot lub PerplexityBot rzeczywiście usuwa cię z tych odpowiedzi.
Dlaczego crawler pokazuje „brak wzmianki”?
Twój robots.txt nie ma dla niego grupy, więc stosuje się do grupy *. Jeśli nie ma też grupy *, nic go nie ogranicza.
Czy robots.txt zatrzymuje każdego bota?
Nie. To prośba, którą główne firmy AI deklarują honorować. Nie blokuje crawlera, który ją ignoruje; to robi reguła zapory.
Dostępność dla crawlerów to pierwszy krok.
Proofsource pokazuje, czy ChatGPT, Perplexity, Claude i Google naprawdę cię wymieniają, których konkurentów wymieniają zamiast ciebie i co poprawić.