Verificador de robots.txt para crawlers de IA e Googlebot
Um verificador gratuito de robots.txt. Cole seu robots.txt e o lemos para 16 crawlers, os bots de IA da OpenAI, Anthropic e Perplexity, além do Googlebot e do Bingbot, e mostramos se cada um está liberado, bloqueado ou não mencionado, com a linha que decide isso.
Dezesseis crawlers, de IA e de busca, e para que serve cada um.
Os resultados aparecem aqui. Nada é armazenado e nenhum modelo de IA está envolvido: é uma leitura simples do robots.txt.
GPTBot · OpenAI · Treinamento
Coleta páginas para treinar modelos da OpenAI.
OAI-SearchBot · OpenAI · Buscar
Indexa páginas para que o ChatGPT search possa citá-las.
ChatGPT-User · OpenAI · Acesso do usuário
Abre uma página quando um usuário do ChatGPT pede.
ClaudeBot · Anthropic · Treinamento
Coleta páginas para treinar modelos Claude.
Claude-SearchBot · Anthropic · Buscar
Indexa páginas para que o Claude possa citá-las em respostas de busca.
Claude-User · Anthropic · Acesso do usuário
Abre uma página quando um usuário do Claude pede.
anthropic-ai · Anthropic · Treinamento
Um token antigo da Anthropic que muitos arquivos robots.txt ainda mencionam.
PerplexityBot · Perplexity · Buscar
Indexa páginas para que o Perplexity possa citá-las nas respostas.
Perplexity-User · Perplexity · Acesso do usuário
Abre uma página quando um usuário do Perplexity pede.
Google-Extended · Google · Treinamento
Decide se o Gemini pode treinar com as páginas que o Googlebot rastreia. A Busca não é afetada.
Googlebot · Google · Buscar
Busca do Google, a fonte de que o AI Overviews e o AI Mode se alimentam.
Bingbot · Microsoft · Buscar
Busca do Bing, o índice em que as respostas do Copilot se baseiam.
Applebot-Extended · Apple · Treinamento
Decide se a Apple pode treinar seus modelos com as páginas que o Applebot rastreia.
CCBot · Common Crawl · Treinamento
Monta o conjunto de dados aberto Common Crawl, usado no treino de muitos modelos.
Meta-ExternalAgent · Meta · Treinamento
Coleta páginas para treinar modelos da Meta AI.
Bytespider · ByteDance · Treinamento
Coleta páginas para treinar modelos da ByteDance.
As regras seguem a RFC 9309: um crawler obedece aos grupos que o nomeiam, senão ao grupo *; a regra correspondente mais longa vence, e Allow vence em caso de empate. O veredito vale para a página inicial. Crawlers de treinamento alimentam modelos futuros; crawlers de busca decidem se uma resposta de IA pode citar você hoje; acessos de usuário acontecem quando alguém pede a um assistente para abrir sua página.
O robots.txt é só metade do acesso. Uma configuração de bots na CDN ainda pode barrar um crawler que o robots.txt permite, e esta verificação não enxerga isso; Acesso de crawlers no Proofsource solicita suas páginas como cada crawler para descobrir. Leia por que bloquear o GPTBot não tira você do ChatGPT, verifique seu arquivo com o validador de llms.txt ou comece pelo guia de visibilidade em IA.
O que as respostas significam.
Devo bloquear crawlers de treinamento?
Essa é uma decisão de negócio. Bloquear o GPTBot ou o ClaudeBot tira suas páginas de futuros conjuntos de treinamento, mas não impede que o ChatGPT ou o Claude citem você por meio dos crawlers de busca deles. Já bloquear o OAI-SearchBot, o Claude-SearchBot ou o PerplexityBot tira você dessas respostas.
Por que um crawler diz não mencionado?
Seu robots.txt não tem um grupo para ele, então ele segue o grupo *. Se também não houver grupo *, nada o restringe.
O robots.txt bloqueia todos os bots?
Não. É um pedido que as principais empresas de IA dizem respeitar. Ele não bloqueia um crawler que o ignora; uma regra de firewall faz isso.
Ser rastreável é o primeiro passo.
O Proofsource mostra se ChatGPT, Perplexity, Claude e Google realmente mencionam você, quais concorrentes eles mencionam no seu lugar e o que corrigir.