O que é robots.txt?
robots.txt é um arquivo de texto simples na raiz de um site que diz aos rastreadores quais caminhos eles podem acessar, segundo o Robots Exclusion Protocol (RFC 9309). O robots.txt é o controle mais antigo que um site tem sobre os crawlers, e na era da IA ele carrega mais decisões do que nunca: treinamento, indexação para busca e acessos disparados por usuários têm cada um o seu bot, e uma regra para um não diz nada sobre os outros.
Como o robots.txt funciona?
Ele funciona como um conjunto de grupos: cada grupo nomeia um ou mais tokens de user-agent e lista caminhos Allow e Disallow. As regras são padronizadas como Robots Exclusion Protocol na RFC 9309 (Koster, Illyes, Zeller e Sassman, setembro de 2022), que define os detalhes que os crawlers seguem (RFC 9309, lido em 15 de out. de 2026):
- O arquivo se chama robots.txt, em minúsculas, fica no nível mais alto do host e é servido como texto simples em UTF-8.
- Quando as regras entram em conflito, vence a correspondência mais específica: a que tem mais octetos.
- Os crawlers devem ler pelo menos 500 kibibytes do arquivo e não devem usar uma cópia em cache por mais de 24 horas, a menos que o arquivo esteja inacessível.
- Uma resposta 4xx permite que o crawler acesse qualquer coisa; uma resposta 5xx significa que ele deve assumir que tudo está bloqueado.
- As regras não são uma forma de autorização de acesso: são um pedido, e um caminho listado fica visível publicamente.
Como escrever regras de robots.txt para crawlers de IA?
Nomeie cada bot pelo seu token e decida cada função separadamente. A posição mais comum é continuar encontrável na busca com IA e manter o conteúdo fora do treinamento: permita os agentes de busca e de acesso por usuário, bloqueie os crawlers de treinamento com que você não concorda.
Cada host tem o seu próprio arquivo, então docs.example.com precisa das suas próprias regras; a Anthropic pede que os donos de sites adicionem suas regras em cada subdomínio que querem cobrir (Anthropic, 7 de abril de 2026).
# Encontrável na busca com IA e em acessos de usuários
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Fora do treinamento de modelos
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /Quais erros de robots.txt escondem você das respostas de IA?
Os que custam caro costumam ser acidentais:
- Bloquear os agentes de busca (OAI-SearchBot, Claude-SearchBot, PerplexityBot) quando a intenção era bloquear o treinamento.
- Uma regra geral em User-agent: * que também pega os crawlers de busca com IA.
- Uma configuração de CDN ou de segurança que bloqueia os bots de IA antes mesmo de o seu robots.txt ser lido.
- Regras no www, mas não no subdomínio de documentação ou de ajuda que os mecanismos mais querem citar.
- Controles de snippet em páginas-chave: o Google diz que uma página precisa estar apta a aparecer com snippet para entrar nas AI Overviews ou no AI Mode (Google Search Central).
O que o robots.txt decide em um exemplo real?
Ele decide se as suas páginas podem sequer disputar citações. No exemplo público da Tesla (4 de out. de 2026), o Perplexity deu 375 citações e o Claude 351 em 25 perguntas de compra; o tesla.com ficou com 3 e 1 delas.
Um site cujo robots.txt bloqueia os agentes de busca desses mecanismos abre mão até disso. Permitir esses agentes não ganha citações por si só; coloca as suas páginas na disputa.
Como verificar seu robots.txt para crawlers de IA?
Baixe o arquivo publicado direto da internet pública, para cada host, e procure cada token pelo nome. O verificador gratuito de crawlers de IA lê o seu robots.txt publicado e informa quais crawlers de IA ele permite ou bloqueia, e o Acesso de crawlers do Proofsource o verifica junto com a camada de CDN e o texto renderizado.
Perguntas frequentes sobre robots.txt
O robots.txt impede a IA de usar meu conteúdo?
Só para os crawlers que o respeitam, e só a partir do momento em que o leem. É um pedido, não uma tranca, e acessos disparados por usuários, como o Perplexity-User, documentam que em geral o ignoram.
Bloquear o GPTBot me tira do ChatGPT?
Não. O GPTBot é o crawler de treinamento da OpenAI. A busca do ChatGPT depende do OAI-SearchBot, e a OpenAI diz que cada configuração é independente.
Quanto tempo as mudanças no robots.txt levam para valer?
A RFC 9309 diz que os crawlers não devem usar uma cópia em cache por mais de 24 horas, e a OpenAI diz que seus sistemas de busca levam cerca de 24 horas para refletir uma mudança.
O llms.txt substitui o robots.txt?
Não. O robots.txt define regras para crawlers. O llms.txt é uma proposta de lista de leitura para modelos de linguagem e não tem voz sobre o acesso.
Termos relacionados
- GPTBot
GPTBot é o rastreador web da OpenAI que coleta conteúdo que pode ser usado para treinar os modelos fundacionais de IA generativa da OpenAI.
- OAI-SearchBot
OAI-SearchBot é o rastreador da OpenAI que exibe sites nos recursos de busca do ChatGPT; sites que o bloqueiam não aparecem nas respostas da busca do ChatGPT.
- ClaudeBot
ClaudeBot é o rastreador web da Anthropic que coleta conteúdo da web que pode contribuir para o treinamento dos modelos Claude da Anthropic.
- llms.txt
llms.txt é um arquivo markdown proposto para a raiz de um site, que diz aos modelos de linguagem o que é o site e lista as páginas que mais valem a leitura.
Exemplo prático: Tesla, respostas públicas de IA, 4 de out. de 2026: a primeira análise da Tesla feita pelo Proofsource, com 25 perguntas de compra e 5 perguntas sobre a marca, uma resposta por pergunta em cada um de quatro mecanismos. Uma amostra pequena de uma única marca, mostrada como exemplo, não como benchmark.
Veja onde a IA deixa você de fora, e o que corrigir.
Veja quais perguntas de compra mencionam sua marca, quem é mencionado no lugar e o que corrigir. 200 respostas. 25 Prompts/pergunta. Os principais mecanismos de IA. 2 dias. Grátis. Sem cartão.
Google AI OverviewsGoogle AI Mode
