O que é o ClaudeBot?
ClaudeBot é o rastreador web da Anthropic que coleta conteúdo da web que pode contribuir para o treinamento dos modelos Claude da Anthropic. A Anthropic opera três bots com funções separadas: o ClaudeBot para treinamento, o Claude-SearchBot para indexação de busca e o Claude-User para buscar uma página quando alguém faz uma pergunta ao Claude. Cada um é nomeado separadamente no robots.txt, então uma regra para o ClaudeBot não diz nada sobre os outros dois.
Qual é o user agent do ClaudeBot?
O ClaudeBot se identifica com o token de produto ClaudeBot, e é esse token que um grupo do robots.txt precisa nomear. O artigo de ajuda da Anthropic menciona os três bots (ClaudeBot, Claude-User e Claude-SearchBot), mas não publica uma string de user agent completa; por isso, procure o token nos seus logs em vez de uma string copiada (artigo da Anthropic sobre crawlers, lido em 15 de out. de 2026).
Um nome numa linha de log pode ser falsificado. Para confirmar que uma requisição veio mesmo da Anthropic, confira o IP de origem na lista que a Anthropic publica em claude.com/crawling/bots.json; segundo a Anthropic, um crawler com IP de origem nessa lista vem da Anthropic.
Alguns arquivos robots.txt ainda mencionam anthropic-ai ou Claude-Web, tokens mais antigos. O artigo atual da Anthropic não menciona nenhum dos dois, então não há documentação de que uma regra que mencione só esses tokens antigos cubra o ClaudeBot.
O que o ClaudeBot coleta, e para quê?
O ClaudeBot coleta conteúdo público da web que pode contribuir para o treinamento dos modelos de IA generativa da Anthropic, o que, segundo a Anthropic, melhora a utilidade e a segurança dos modelos. Bloqueá-lo sinaliza que o conteúdo futuro do seu site deve ficar fora dos conjuntos de dados de treinamento da Anthropic.
A Anthropic também descreve como seus bots se comportam:
- Eles respeitam as diretivas de "não rastrear" do robots.txt.
- Eles não tentam passar por CAPTCHAs nem por outras medidas de proteção.
- Eles aceitam a regra não padronizada Crawl-delay, então você pode desacelerar o ClaudeBot sem bloqueá-lo.
- Uma regra vale para um host, então um site com subdomínios precisa da regra no robots.txt de cada subdomínio.
Qual a diferença entre o ClaudeBot, o Claude-User e o Claude-SearchBot?
O ClaudeBot é sobre treinamento; o Claude-SearchBot e o Claude-User são sobre ser encontrado e lido quando as pessoas perguntam algo ao Claude. A Anthropic avisa que desativar qualquer um desses dois pode reduzir a visibilidade do seu site nas respostas de busca do Claude.
| Bot | Função | Se você bloquear |
|---|---|---|
| ClaudeBot | Coleta conteúdo da web que pode contribuir para o treinamento de modelos | Sinaliza que seu conteúdo futuro deve ficar fora do treinamento |
| Claude-SearchBot | Lê a web para melhorar a qualidade e a relevância dos resultados de busca do Claude | Interrompe a indexação para busca, o que pode reduzir sua visibilidade e a precisão nas respostas de busca do Claude |
| Claude-User | Busca uma página quando uma pessoa faz ao Claude uma pergunta que precisa dela | O Claude não consegue buscar suas páginas para essas perguntas, o que pode reduzir sua visibilidade na busca feita a pedido do usuário |
Como bloquear ou liberar o ClaudeBot no robots.txt?
Adicione um grupo que nomeie o ClaudeBot ao arquivo robots.txt na raiz de cada host. O próprio exemplo da Anthropic bloqueia o ClaudeBot no site inteiro com uma única linha Disallow: / sob User-agent: ClaudeBot.
A escolha mais comum é manter o conteúdo fora do treinamento e continuar encontrável nas respostas do Claude: bloquear o ClaudeBot e liberar os outros dois. O Crawl-delay é a forma documentada pela Anthropic de desacelerar o ClaudeBot em vez de bloqueá-lo. Não conte com o bloqueio dos endereços IP da Anthropic como alternativa; segundo a Anthropic, isso pode não funcionar de forma confiável, porque impede que os bots leiam seu robots.txt. Depois, confirme o arquivo publicado com o verificador gratuito de crawlers de IA.
# Manter o conteúdo fora do treinamento da Anthropic
User-agent: ClaudeBot
Disallow: /
# Continuar encontrável nas respostas do Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Ou, em vez de bloquear o ClaudeBot, desacelere-o:
# User-agent: ClaudeBot
# Crawl-delay: 1O que isso significa para ser citado pelo Claude?
Ser citado pelo Claude depende de o Claude-SearchBot e o Claude-User alcançarem suas páginas; o ClaudeBot é uma decisão à parte, sobre treinamento. Bloquear os três abre mão das duas coisas.
As citações do Claude são espalhadas até para uma marca famosa. No exemplo público da Tesla (4 de out. de 2026), o Claude mencionou a Tesla em 11 de 25 respostas a perguntas de compra e deu 351 citações nessas respostas, só uma delas para tesla.com. O site mais citado foi en.wikipedia.org, 16 vezes. É por esse espaço de citações que uma regra de crawler de busca decide se você pode competir, e ele é medido fazendo as perguntas, não lendo o robots.txt. Veja como o Claude escolhe as marcas que menciona.
Perguntas frequentes sobre ClaudeBot
Bloquear o ClaudeBot tira meu site do Claude?
Não, pela descrição da Anthropic. O ClaudeBot é o crawler de treinamento. A indexação de busca é do Claude-SearchBot e a busca de páginas para a pergunta de um usuário é do Claude-User, e a Anthropic diz que bloquear esses dois é o que pode reduzir sua visibilidade nas respostas de busca do Claude.
O ClaudeBot respeita o robots.txt?
A Anthropic diz que seus bots respeitam as diretivas do robots.txt, não contornam CAPTCHAs e aceitam Crawl-delay. Coloque a regra no robots.txt de cada subdomínio que você quer cobrir.
Devo bloquear o ClaudeBot por endereço IP?
A Anthropic não recomenda depender disso: bloquear os endereços IP dela pode não funcionar de forma correta ou duradoura, e impede que os bots leiam seu robots.txt. Use o robots.txt para a regra e a lista de IPs publicada pela Anthropic só para confirmar que uma requisição é legítima.
O ClaudeBot é a mesma coisa que o anthropic-ai?
Não. anthropic-ai e Claude-Web são tokens antigos que alguns arquivos robots.txt ainda trazem, e o artigo atual da Anthropic não os menciona. Ele menciona apenas ClaudeBot, Claude-SearchBot e Claude-User, então escreva suas regras para esses três.
Termos relacionados
- GPTBot
GPTBot é o rastreador web da OpenAI que coleta conteúdo que pode ser usado para treinar os modelos fundacionais de IA generativa da OpenAI.
- OAI-SearchBot
OAI-SearchBot é o rastreador da OpenAI que exibe sites nos recursos de busca do ChatGPT; sites que o bloqueiam não aparecem nas respostas da busca do ChatGPT.
- PerplexityBot
PerplexityBot é o rastreador da Perplexity que indexa páginas da web para que possam aparecer, com link, nos resultados de busca da Perplexity.
Exemplo prático: Tesla, respostas públicas de IA, 4 de out. de 2026: a primeira análise da Tesla feita pelo Proofsource, com 25 perguntas de compra e 5 perguntas sobre a marca, uma resposta por pergunta em cada um de quatro mecanismos. Uma amostra pequena de uma única marca, mostrada como exemplo, não como benchmark.
Veja onde a IA deixa você de fora, e o que corrigir.
Veja quais perguntas de compra mencionam sua marca, quem é mencionado no lugar e o que corrigir. 200 respostas. 25 Prompts/pergunta. Os principais mecanismos de IA. 2 dias. Grátis. Sem cartão.
Google AI OverviewsGoogle AI Mode
