Notas de campo4 min de leitura

53% das requisições que se diziam GPTBot, ClaudeBot ou PerplexityBot em seis sites vieram de outro lugar

O nome de um bot é algo que o visitante digita. O endereço é a prova. Em metade dos sites que analisamos, a maior parte do tráfego de crawlers de IA era fantasia, e na outra metade quase nada era.

Conferimos 64.222 requisições de crawlers de IA nas listas dos próprios fabricantes

As visitas de crawlers de IA nos seus logs são reais? Um crawler se apresenta com um user agent, uma linha de texto como “GPTBot/1.1”. Qualquer um pode enviar essa linha. A OpenAI, a Anthropic e o Perplexity publicam os endereços IP que os seus bots usam, e uma requisição só é deles se o nome e o endereço baterem.

Seis sites conectaram o Cloudflare ao Proofsource, nenhum deles nosso. Para cada requisição que dizia ser um crawler de IA, conferimos o endereço na lista que o fabricante publica. Pegamos de 12 de outubro a 13 de novembro de 2026, 33 dias, e cinco bots: GPTBot, OAI-SearchBot e ChatGPT-User, da OpenAI, ClaudeBot, da Anthropic, e PerplexityBot. As contagens são estimativas a partir dos dados de requisições por amostragem do Cloudflare.

52,9% das requisições falharam, e o GPTBot foi o crawler que mais falhou

De 64.222 requisições em nome de um dos cinco bots, 33.964 vieram de um endereço que o fabricante não lista: 52,9%. Por bot, a parcela que falhou foi de 83,0% para o ChatGPT-User, 72,6% para o GPTBot, 61,0% para o ClaudeBot, 34,4% para o OAI-SearchBot e 34,1% para o PerplexityBot.

O Googlebot, conferido do mesmo jeito nas listas do Google, falhou em 20,7% das requisições nos mesmos sites. Os nomes de crawlers de IA foram falsificados com mais frequência que os do Google, pelo menos aqui.

Três sites tinham quase só falsos, e três estavam quase limpos

A média esconde a história real. Em três sites, 69%, 84% e 96% das requisições de crawlers de IA falharam na verificação. Nos outros três, 4%, 5% e 7%. No pior site, o ClaudeBot fez 251 requisições verificadas e 7.144 que falharam.

Então uma referência única de “quanto do tráfego de bots de IA é falso” não diz muita coisa. O seu site pode estar em qualquer uma das pontas, e só uma verificação do seu próprio tráfego mostra em qual.

200 de 253 endereços reprovados também diziam ser o bot de outra empresa

O Cloudflare nos dá até três endereços de amostra por bot, site e dia. Deixando de fora os nossos próprios servidores, 253 endereços da amostra falharam dizendo ser um dos cinco bots. 200 deles também disseram ser um bot de outra empresa em outra requisição, e 168 disseram ser bots de três ou mais empresas. Um endereço usou 12 nomes de bots diferentes, de nove empresas.

Nenhum crawler real faz isso. O GPTBot vem da lista da OpenAI, e o Googlebot, da lista do Google. Um endereço que é os dois é alguém testando nomes até um passar, quase sempre a partir de servidores alugados na nuvem.

As listas deixam passar parte do tráfego real, então confira todas

A verificação também erra no sentido contrário. O Claude-User, o agente que o Claude usa para ler uma página sobre a qual um usuário perguntou, falhou em 97,5% das requisições nesses sites. Cerca de metade das falhas da amostra veio de 160.79.104.0/21, uma faixa que a Anthropic publica como origem das suas chamadas de busca e leitura na web feitas pela API, na sua página de IPs da API, que não é a lista de crawlers.

Essas visitas muito provavelmente são reais, e uma verificação só com a lista de crawlers as marca como falsas. Por isso deixamos o Claude-User fora dos 52,9%. Se você verifica à mão, confira todas as faixas que uma empresa publica para os seus leitores de páginas, não só o arquivo de crawlers.

O que faríamos

  • Conte as visitas de crawlers de IA pelo endereço verificado, não pelo nome. Um painel que conta nomes pode ser mais da metade fantasia.
  • Use a lista de cada fabricante: openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json, claude.com/crawling/bots.json mais as faixas da API da Anthropic, e perplexity.ai/perplexitybot.json.
  • Se o seu firewall deixa bots entrarem pelo nome, confira o endereço também. A própria documentação do Perplexity mostra uma regra do Cloudflare que junta cada user agent às suas faixas de IP.
  • Não bloqueie um bot pelo nome por causa do que os impostores fizeram. Os falsos não são o bot, e bloquear o OAI-SearchBot ou o PerplexityBot de verdade deixa você fora dos resultados de busca deles.

Como o Proofsource mostra isso

Quando um site conecta o Cloudflare, o Proofsource confere o endereço de cada requisição de crawler de IA na lista que o fabricante publica e mostra as requisições verificadas e as reprovadas separadamente para cada bot. Bots cujos fabricantes não publicam lista aparecem como não verificáveis, em vez de contados como reais ou falsos. A nossa verificação tem a lacuna do Claude-User descrita acima, e estamos acrescentando as faixas da API da Anthropic a ela.

Onde isto pode estar errado

Seis sites são uma amostra pequena, e eles conectaram o Cloudflare a uma ferramenta de visibilidade, então podem não se parecer com o site médio. A diferença entre eles importa mais que os 52,9%.

Uma lista pode estar desatualizada ou incompleta, como mostra o Claude-User. Algumas falhas de outros bots podem ser tráfego real de endereços ainda não listados. Os endereços que se dizem bots de várias empresas tornam isso improvável para a maioria deles.

A nossa própria verificação de sites envia algumas requisições com esses nomes de bots. No máximo 300 podem cair neste período; tirando todas elas, ainda sobram 52,7%.

As requisições não são independentes, e um único scraper muito ativo pode mexer no número de um site. Um relato externo, de um único site novo ao longo de duas semanas, achou reais 6 de 33 visitas que se diziam de assistentes de IA. É outro site e outro método, e aponta na mesma direção.

De onde vêm os números externos

  1. Overview of OpenAI Crawlers · OpenAI
  2. Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
  3. IP addresses · Anthropic
  4. Perplexity Crawlers · Perplexity
  5. Verify Requests from Google Crawlers and Fetchers · Google
  6. 81.8% Of My 'AI Assistant' Traffic Was Fake. The Googlebot Number Was Worse · Search Engine Journal
Todas as notas

Perguntas

As visitas de crawlers de IA nos meus logs são reais?

Confira o endereço, não o nome. Em seis sites, de 12 de outubro a 13 de novembro de 2026, 52,9% das requisições em nome de um bot da OpenAI, da Anthropic ou do Perplexity vieram de endereços que essas empresas não publicam. A parcela foi de 4% em um site a 96% em outro.

Como verifico se uma requisição do GPTBot veio mesmo da OpenAI?

Compare o endereço IP da requisição com a lista que a OpenAI publica em openai.com/gptbot.json. A OpenAI publica listas separadas para o OAI-SearchBot e o ChatGPT-User, a Anthropic e o Perplexity publicam as suas, e o Google documenta DNS reverso e listas de IP para os seus crawlers.

Devo bloquear crawlers de IA que falham na verificação?

Bloqueie os endereços reprovados se quiser, mas não o nome do bot. Bloquear o OAI-SearchBot ou o PerplexityBot pelo nome barra também o crawler real, o que, segundo essas empresas, deixa as suas páginas fora das respostas de busca delas.

Seus próprios números superam nosso melhor post.

A lista curta da sua categoria está sendo escrita agora mesmo, leia alguém esta página ou não. Um teste grátis, com 25 perguntas em quatro mecanismos hoje, mostra se o seu nome está nela.

100 respostas. 25 Prompts/pergunta. Os principais mecanismos de IA. Grátis.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI