O que é o Claude-SearchBot?
Claude-SearchBot é o rastreador da Anthropic que lê a web para melhorar a qualidade e a relevância dos resultados de busca do Claude. O Claude-SearchBot é o crawler por trás da busca do Claude: ele lê a web com antecedência para que o Claude tenha bons resultados em que se apoiar. Bloqueá-lo é uma decisão de busca, não de treinamento.
O que o Claude-SearchBot faz?
A Anthropic diz que o Claude-SearchBot navega pela web para melhorar a qualidade dos resultados de busca para os usuários, analisando conteúdo on-line para melhorar a relevância e a precisão das respostas de busca. Desativá-lo impede que o sistema da Anthropic indexe seu conteúdo para otimização de busca, o que, segundo a Anthropic, pode reduzir a visibilidade e a precisão do seu site nos resultados de busca dos usuários (Anthropic, 7 de abril de 2026).
Como o Claude-SearchBot se comporta?
A Anthropic documenta as mesmas regras para os três bots:
- Eles respeitam as diretivas do robots.txt.
- Eles não tentam contornar CAPTCHAs nem outras medidas anticircunvenção.
- Eles aceitam a regra não padrão Crawl-delay, para desacelerar um bot sem bloqueá-lo.
- Uma regra vale por host, então cada subdomínio precisa da sua.
- Bloquear por endereço IP pode não funcionar de forma confiável, porque pode impedir os bots de lerem o robots.txt.
Como liberar o Claude-SearchBot e bloquear o treinamento?
Dê a cada bot o seu próprio grupo. Essa é a escolha comum de marcas que querem ser citadas pelo Claude sem contribuir com dados de treinamento. Confira o arquivo em produção com o verificador grátis de crawlers de IA.
# Continue encontrável na busca do Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Mantenha o conteúdo fora do treinamento da Anthropic
User-agent: ClaudeBot
Disallow: /O que está em jogo, num exemplo real?
No exemplo público da Tesla (4 de out. de 2026), o Claude citou 351 páginas em 25 perguntas de compra, mais do que o ChatGPT e o Google AI Overviews juntos, e mencionou a Tesla em 11 respostas.
Uma lista longa de fontes é um grande número de vagas para citação, e o Claude-SearchBot decide se suas páginas são indexadas para isso. tesla.com ficou com uma dessas 351; a maioria foi para sites de referência e de terceiros.
Como ver o Claude-SearchBot no seu site?
O Proofsource conta todos os dias as requisições de crawlers de IA a partir da sua zona do Cloudflare ou dos seus logs de acesso, verificadas com a lista de IPs publicada pela Anthropic, e mostra quais páginas rastreadas acabam citadas nas respostas do Claude. Veja Tráfego de IA e Acesso de crawlers.
Perguntas frequentes sobre Claude-SearchBot
O Claude-SearchBot é usado para treinamento?
A Anthropic o descreve como um indexador de conteúdo para melhorar os resultados de busca. Treinamento é trabalho do ClaudeBot, e cada bot tem sua própria regra no robots.txt.
O que acontece se eu bloquear o Claude-SearchBot?
A Anthropic diz que seu conteúdo deixa de ser indexado para otimização de busca, o que pode reduzir sua visibilidade e precisão nas respostas de busca do Claude.
Posso desacelerar o Claude-SearchBot em vez de bloqueá-lo?
Sim. A Anthropic aceita a regra não padrão Crawl-delay para seus bots.
Como sei que uma visita é mesmo do Claude-SearchBot?
Compare o IP de origem com a lista que a Anthropic publica em claude.com/crawling/bots.json; a Anthropic diz que um IP dessa lista vem da Anthropic.
Termos relacionados
- ClaudeBot
ClaudeBot é o rastreador web da Anthropic que coleta conteúdo da web que pode contribuir para o treinamento dos modelos Claude da Anthropic.
- Claude-User
Claude-User é o agente que a Anthropic usa para buscar uma página da web quando alguém faz ao Claude uma pergunta que precisa dela.
- robots.txt
robots.txt é um arquivo de texto simples na raiz de um site que diz aos rastreadores quais caminhos eles podem acessar, segundo o Robots Exclusion Protocol (RFC 9309).
- PerplexityBot
PerplexityBot é o rastreador da Perplexity que indexa páginas da web para que possam aparecer, com link, nos resultados de busca da Perplexity.
Exemplo prático: Tesla, respostas públicas de IA, 4 de out. de 2026: a primeira análise da Tesla feita pelo Proofsource, com 25 perguntas de compra e 5 perguntas sobre a marca, uma resposta por pergunta em cada um de quatro mecanismos. Uma amostra pequena de uma única marca, mostrada como exemplo, não como benchmark.
Veja onde a IA deixa você de fora, e o que corrigir.
Veja quais perguntas de compra mencionam sua marca, quem é mencionado no lugar e o que corrigir. 200 respostas. 25 Prompts/pergunta. Os principais mecanismos de IA. 2 dias. Grátis. Sem cartão.
Google AI OverviewsGoogle AI Mode
