A OpenAI envia quatro agentes, e só um controla a busca do ChatGPT
Está circulando um trecho de robots.txt que bloqueia o GPTBot. Muita gente colou no arquivo e sentiu que tinha resolvido a questão do ChatGPT. Resolveu uma questão. Só que não essa.
A OpenAI documenta quatro user agents, cada um com uma função. O GPTBot rastreia conteúdo que pode ser usado para treinar os modelos de base. O OAI-SearchBot é o usado para mostrar sites nos recursos de busca do ChatGPT, e a própria página da OpenAI diz que sites que o bloqueiam não serão mostrados nas respostas de busca do ChatGPT, embora ainda possam aparecer como links de navegação. O ChatGPT-User busca uma página quando uma pessoa pergunta algo ao ChatGPT e, como foi um usuário que iniciou, a OpenAI diz que as regras do robots.txt podem não se aplicar. O OAI-AdsBot só visita páginas enviadas como anúncios.
A OpenAI deixa claro que cada configuração é independente. Você pode permitir o OAI-SearchBot e bloquear o GPTBot, o que diz sim a ser encontrado e não a virar dado de treinamento. É uma posição razoável para a maioria das empresas, e quase nenhum robots.txt que lemos a expressa de fato. Espere cerca de um dia em qualquer direção: a OpenAI diz que leva umas 24 horas, depois de uma mudança no robots.txt, para os sistemas dela se atualizarem.
A Anthropic divide em três, e o Perplexity ignora você quando uma pessoa pergunta
A Anthropic tem três. O ClaudeBot coleta conteúdo da web que pode entrar no treinamento. O Claude-SearchBot indexa conteúdo para melhorar os resultados de busca. O Claude-User busca uma página quando alguém faz uma pergunta ao Claude. A página de ajuda da Anthropic explica a consequência de cada um: desative o Claude-SearchBot e o seu conteúdo deixa de ser indexado para busca; desative o Claude-User e o Claude deixa de buscar a sua página em resposta à pergunta de um usuário.
O Perplexity tem dois. O PerplexityBot existe para mostrar sites e colocar links para eles nos resultados do Perplexity e não é usado para coletar dados de treinamento. O Perplexity-User visita uma página quando alguém faz uma pergunta, e a documentação do Perplexity diz em voz alta o que costuma ficar subentendido: como foi um usuário que pediu a busca, esse agente geralmente ignora o robots.txt.
Somando tudo, a regra genérica de bloquear os bots de IA vai parar num lugar estranho. Dos nove agentes acima, a maioria dos que as pessoas querem barrar é justamente a que coloca o seu link na frente de um comprador, e um deles nem está ouvindo o robots.txt.
O Google-Extended não tem nada a ver com o AI Overviews
Este é o que mais custa às pessoas. O Google-Extended é um token de robots.txt, sem string de user agent própria, que controla se o conteúdo rastreado treina futuros modelos Gemini e fundamenta os Gemini Apps. A documentação de crawlers do Google afirma sem rodeios que ele não afeta a inclusão de um site na Busca do Google e não é usado como sinal de ranqueamento. Bloqueá-lo não faz nada com o AI Overviews.
O AI Overviews e o AI Mode são a Busca. O Google diz isso nas próprias orientações para donos de sites: a IA está integrada à Busca, e as diretivas de robots.txt para o Googlebot são o controle. Depois vem a frase que pega as pessoas. Para ser elegível como link de apoio no AI Overviews ou no AI Mode, uma página precisa estar indexada e elegível para aparecer com snippet. Se você, ou alguém antes de você, definiu nosnippet, data-nosnippet ou um max-snippet apertado para afastar scrapers, você se tirou da resposta de IA, e nada nas suas análises reportou isso.
O mesmo guia do Google diz que você não precisa criar novos arquivos legíveis por máquina nem arquivos de texto para IA para aparecer nesses recursos. Já faz um tempo que dizemos às pessoas para não tratar o llms.txt como correção: nenhum dos mecanismos que observamos documenta um como sinal de ranqueamento. É útil ver o Google afirmar a versão geral com as próprias palavras.
Sua CDN talvez já tenha respondido isso por você
Em 1º de julho de 2025, a Cloudflare anunciou que estava mudando o padrão para bloquear crawlers de IA a menos que paguem pelo conteúdo, e lançou um robots.txt gerenciado que ela serve em seu nome e mantém atualizado à medida que surgem novos bots. Todo site novo que entra na Cloudflare agora precisa fazer essa escolha na configuração.
Então, para muitas empresas, a resposta honesta para o que o meu robots.txt diz sobre o ChatGPT é não sei, quem escreve é a minha CDN. Uma regra de WAF faz o mesmo trabalho de forma ainda mais completa. A requisição nunca chega à sua origem, então nada nos seus logs ou nas suas análises registra uma visita que não aconteceu. Sua página continua ranqueando, carregando e parecendo certa para você.
E uma busca que chega ainda precisa voltar com palavras dentro. Uma página renderizada no cliente entrega a esses agentes um 200 e um contêiner vazio, o que parece uma página funcionando para você e não é nada para eles.
Seis verificações que resolvem a questão numa tarde
Nada disso precisa de uma ferramenta. Precisa de curl, dos seus logs e de uma hora. Nós rodamos isso como uma auditoria de acesso de bots com as análises de crawlers da Cloudflare por trás, mas você pode fazer cada linha sozinho.
- Busque o seu robots.txt pela internet pública, não pelo seu repositório, e procure cada token pelo nome: OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot.
- Faça isso em cada subdomínio. docs.example.com e www.example.com são arquivos separados e decisões separadas, e o subdomínio de documentação costuma ser o que você quer ver citado.
- Peça uma página que você quer ver citada usando a string de user agent publicada de cada agente e leia o que volta. Um 200 com uma div vazia é uma falha, não uma aprovação.
- Procure na sua CDN e no seu WAF um robots.txt gerenciado ou uma regra de bots que ninguém da equipe atual escreveu.
- Verifique o head das suas melhores páginas em busca de noindex, nosnippet, data-nosnippet e max-snippet. Qualquer um deles pode tirar uma página, sem alarde, da elegibilidade para o AI Overviews.
- Procure os nomes dos agentes nos seus logs de acesso e depois confira os endereços de origem contra as faixas de IP que OpenAI, Perplexity e Anthropic publicam. Qualquer um pode digitar uma string de user agent. A faixa de endereços é a parte que verifica.
Onde isto pode estar errado
Tudo acima é cada mecanismo descrevendo os próprios crawlers, e tanto os tokens quanto o comportamento mudam. A página da Anthropic traz data de abril de 2026, a lista de crawlers do Google foi atualizada pela última vez em julho de 2026, e a OpenAI acrescenta um agente sempre que lança um produto que busca páginas. Leia a documentação atual antes de mudar uma linha, não este artigo.
O robots.txt é um pedido. Uma empresa dizer que o bot dela o respeita é uma declaração de política, não um mecanismo de aplicação, e dois dos agentes aqui documentam que não o aplicam a requisições iniciadas por usuários. Se você precisa que algo não seja lido, o robots.txt nunca foi a ferramenta.
Deixar um crawler entrar também não faz você ser citado. Acesso é o piso, não a resposta. Na categoria que amostramos, listas foram 44% do que o ChatGPT citou numa pergunta de melhores, então ser legível e ser escolhido são dois problemas diferentes. Nossos 44% são uma única medição na amostra que fizemos, não uma constante.
Ainda assim vale uma tarde, porque essa falha é silenciosa por construção. Nada em lugar nenhum reporta uma busca que nunca aconteceu.
