Notas de campo4 min de leitura

Em 21 dos 32 sites cujos servidores recusaram crawlers de IA, o robots.txt os liberava

Um verificador de robots.txt lê o arquivo e para por aí. Quem decide se um crawler recebe a página de fato são o servidor, a CDN e o firewall, e na nossa amostra eles recusaram crawlers quase três vezes mais do que o robots.txt.

Verificamos 199 sites no robots.txt e no servidor

Como verificar quais crawlers de IA meu site bloqueia? A maioria dos verificadores, incluindo o nosso gratuito, lê o robots.txt e para ali. O padrão por trás do arquivo, a RFC 9309, é direto sobre o limite dele: "Essas regras não são uma forma de autorização de acesso." Uma regra pede que o crawler fique de fora. Quem decide se um pedido recebe a página são o seu servidor, a sua CDN e o seu firewall.

A Proofsource audita o site de toda marca que acompanha. Pegamos a auditoria mais recente de cada site entre 5 de outubro e 20 de novembro de 2026: 199 sites, sem os nossos domínios e os de teste. Cada auditoria lê o robots.txt para cada crawler de IA e depois pede a página inicial uma vez por crawler, enviando o User-Agent publicado por esse crawler. Ela registra se o servidor entregou a página ou respondeu com 401, 403, 429 ou uma verificação de bot.

Os servidores recusaram o GPTBot em 32 sites; o robots.txt o bloqueou em 12

O servidor recusou um pedido que se identificava como GPTBot em 32 dos 199 sites: 16,1% (11,6% a 21,8%). O robots.txt bloqueava o GPTBot em 12 (6,0%).

Em 21 desses 32 sites, o robots.txt liberava todos os crawlers de IA para os quais o lemos. Uma verificação só do arquivo teria dito aos 21 que estavam abertos para a IA.

Uma vez aconteceu o contrário. Um site bloqueava o GPTBot no robots.txt, e o servidor entregou a página mesmo assim. O arquivo é um pedido nos dois sentidos.

A maioria dos bloqueios no servidor atingiu crawlers de treino e poupou a busca

Em 20 sites o servidor recusou o GPTBot mas atendeu o OAI-SearchBot e o ChatGPT-User, e 15 deles também recusaram o ClaudeBot. Essa divisão parece escolhida. A documentação de crawlers da OpenAI trata cada crawler como uma configuração separada: o GPTBot coleta dados de treino, o OAI-SearchBot encontra páginas para mostrar na busca do ChatGPT. Recusar o primeiro não tira você da segunda.

13 sites recusaram os crawlers que levam páginas para as respostas

Para ser citado, os crawlers que importam são os agentes de busca e de usuário. 13 sites (6,5%) recusaram pelo menos um entre OAI-SearchBot, ChatGPT-User e PerplexityBot. O robots.txt os bloqueava em apenas um desses 13.

10 sites recusaram todos os crawlers de IA que enviamos. 7 desses 10 responderam com uma verificação de bot da Cloudflare, e não com uma simples página de erro. Segundo a OpenAI, um site que exclui o OAI-SearchBot não aparece nas respostas da busca do ChatGPT, e a empresa pede que os sites que querem aparecer liberem também as faixas de IP publicadas, além do nome no robots.txt.

Alguns desses bloqueios provavelmente nunca foram escritos por alguém

A Cloudflare lançou em setembro de 2024 uma opção para bloquear crawlers de IA com um clique e diz que mais de um milhão de clientes a ativaram. Desde 1º de julho de 2025, ela pergunta a todo domínio novo, no cadastro, se quer permitir crawlers de IA. Uma configuração escolhida uma vez no painel, ou por quem criou a conta, não aparece no robots.txt. Se um crawler é recusado e ninguém da sua equipe se lembra de ter decidido isso, olhe ali primeiro.

Verifique os dois em dez minutos

  • Leia o robots.txt primeiro para os crawlers de resposta: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Depois decida à parte sobre os crawlers de treino, GPTBot e ClaudeBot.
  • Peça sua página inicial com curl, definindo o User-Agent com o nome de cada crawler. Um 403, um 429 ou uma página de verificação significa que o servidor o recusou, diga o robots.txt o que disser.
  • Abra as configurações de bots e de crawlers de IA da sua CDN e veja como cada crawler está definido. Na Cloudflare, confira tanto os controles de crawlers de IA quanto qualquer regra que bloqueie bots de IA.
  • Se o seu firewall só deixa passar bots verificados, coloque as faixas de IP publicadas pelas empresas de IA na lista de permissões e procure respostas 403 a esses crawlers nos seus logs.

Como a Proofsource verifica isso

Toda auditoria de site da Proofsource lê o robots.txt para cada crawler de IA e pede sua página inicial como cada um deles. Quando o robots.txt libera um crawler e o servidor o recusa, a primeira análise mostra isso em uma linha própria, com a configuração que você precisa mudar.

Onde isto pode estar errado

Nossos pedidos saíram dos nossos servidores, não dos da OpenAI, da Anthropic ou da Perplexity. Um firewall que verifica de onde vem o pedido pode recusar o nosso e ainda atender o crawler real. Isso vale sobretudo para as verificações de bot. Trate uma recusa como motivo para abrir as configurações da sua CDN, não como prova de que o ChatGPT não consegue ler você.

Um pedido por crawler, só para a página inicial, em um único momento. 5 das recusas foram limites de taxa 429, que podem passar. Outras páginas podem ter outras regras.

199 sites de marcas acompanhadas na Proofsource, o que não é uma amostra aleatória da web. As auditorias mais antigas enviavam cinco crawlers e as mais recentes, oito, então as contagens de Claude-SearchBot, Claude-User e Perplexity-User cobrem 189 sites. Não vimos os logs dos sites, então não sabemos como as visitas dos crawlers reais foram respondidas.

De onde vêm os números externos

  1. RFC 9309: Robots Exclusion Protocol · IETF
  2. Overview of OpenAI Crawlers · OpenAI
  3. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large · Cloudflare
  4. Verificador grátis de robots.txt para GPTBot e outros · Proofsource
Todas as notas

Perguntas

O robots.txt bloqueia crawlers de IA?

Ele pede que fiquem de fora, e as grandes empresas de IA dizem que respeitam isso, mas ele não impede um pedido. Na nossa auditoria de 199 sites, um site bloqueava o GPTBot no robots.txt e o servidor entregou a página mesmo assim.

Como saber se a Cloudflare está bloqueando o ChatGPT?

Peça sua página inicial com o User-Agent OAI-SearchBot e veja se volta um 403 ou uma página de verificação; depois leia suas configurações de crawlers de IA na Cloudflare. Na nossa amostra, 7 dos 10 sites que recusaram todos os crawlers de IA fizeram isso com uma verificação de bot da Cloudflare.

Se eu bloquear o GPTBot, vou sumir do ChatGPT?

Não da busca do ChatGPT. A OpenAI documenta o GPTBot (treino) e o OAI-SearchBot (busca) como configurações separadas. Em 20 dos 199 sites que verificamos, o servidor recusou o GPTBot e ainda atendeu o OAI-SearchBot.

Seus próprios números superam nosso melhor post.

A lista curta da sua categoria está sendo escrita agora mesmo, leia alguém esta página ou não. Um teste grátis, com 25 perguntas em quatro mecanismos hoje, mostra se o seu nome está nela.

100 respostas. 25 Prompts/pergunta. Os principais mecanismos de IA. Grátis.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI