O que é o CCBot?
CCBot é o rastreador web do Common Crawl, uma organização sem fins lucrativos que publica uma cópia livre e aberta da web, usada por pesquisadores e desenvolvedores de IA como dados de treinamento. O CCBot não é o crawler de uma empresa de IA, mas o arquivo dele alimenta muitos modelos de IA. O Common Crawl publica de graça sua cópia da web, então bloquear o CCBot é uma decisão sobre bases de dados abertas com que pesquisadores e desenvolvedores de IA treinam.
O que é o Common Crawl e o que o CCBot faz?
O Common Crawl se descreve como uma organização sem fins lucrativos 501(c)(3) dedicada a oferecer uma cópia da internet a pesquisadores, empresas e indivíduos sem custo; o CCBot é o crawler que a coleta (FAQ do Common Crawl, lido em 15 de out. de 2026).
Os dados chegam aos modelos de IA pelos desenvolvedores que os usam. O artigo do GPT-3 da OpenAI, por exemplo, lista uma versão filtrada do Common Crawl como a maior parte da mistura de treinamento daquele modelo (Language Models are Few-Shot Learners, 28 de maio de 2020).
Como o CCBot se comporta?
O Common Crawl documenta as regras do seu crawler:
- Ele consulta o robots.txt e só busca uma página se o rastreamento for permitido.
- Ele obedece ao Crawl-delay; Crawl-delay: 2 o limita a uma requisição a cada 2 segundos.
- Ele respeita o nofollow nos links para descoberta de links.
- Ele volta a consultar o robots.txt periodicamente, então um novo bloqueio vale nas visitas seguintes.
- Ele roda em faixas de IP dedicadas com DNS reverso, publicadas em JSON para verificação.
Como bloquear ou verificar o CCBot?
Inclua um grupo para o CCBot no robots.txt. A string do user agent é CCBot/2.0 (https://commoncrawl.org/faq/), e o Common Crawl informa um hostname de DNS reverso em crawl.commoncrawl.org para verificar uma requisição (CCBot).
# Mantenha o conteúdo fora do arquivo aberto do Common Crawl
User-agent: CCBot
Disallow: /O que bloquear o CCBot muda, num exemplo real?
Muda as bases de dados abertas futuras, não as respostas de hoje. No exemplo público da Tesla (4 de out. de 2026), o Claude respondeu "O que é a Tesla?" e "A Tesla é confiável?" com o que o modelo já sabia, sem citar fontes: essa memória veio de dados de treinamento coletados muito antes.
Nas perguntas de compra, os mesmos mecanismos citaram 455 sites diferentes, lidos no momento da resposta pelos próprios crawlers de busca e fetchers. Uma regra para o CCBot não afeta nenhum desses dois caminhos ao vivo; os agentes de busca e de usuário, sim.
Como verificar sua regra para o CCBot?
Leia o robots.txt em produção de cada host em busca de um grupo para o CCBot e decida sobre ele junto com os crawlers de treinamento de IA. O verificador grátis de crawlers de IA lê seu robots.txt em produção, e o Acesso de crawlers do Proofsource o acompanha ao longo do tempo.
Perguntas frequentes sobre CCBot
Bloquear o CCBot tira minhas páginas das respostas de IA?
Não. As respostas de IA que pesquisam usam os próprios crawlers e fetchers dos mecanismos. O CCBot só afeta o arquivo futuro do Common Crawl.
Bloquear o CCBot remove meu conteúdo das bases de dados existentes?
A documentação do Common Crawl descreve como o CCBot para de rastrear um site bloqueado. Não diz que arquivos anteriores são alterados, então considere que o que já foi coletado continua lá.
O CCBot é o crawler de uma empresa de IA?
Não. O Common Crawl é uma organização sem fins lucrativos que publica seu arquivo para qualquer pessoa. Desenvolvedores de IA estão entre os muitos usuários desses dados.
O CCBot respeita o Crawl-delay?
Sim. O Common Crawl diz que obedece ao parâmetro Crawl-delay do robots.txt.
Termos relacionados
- GPTBot
GPTBot é o rastreador web da OpenAI que coleta conteúdo que pode ser usado para treinar os modelos fundacionais de IA generativa da OpenAI.
- ClaudeBot
ClaudeBot é o rastreador web da Anthropic que coleta conteúdo da web que pode contribuir para o treinamento dos modelos Claude da Anthropic.
- Applebot-Extended
Applebot-Extended é um token do robots.txt que permite a um site impedir que a Apple use o seu conteúdo para treinar os modelos fundacionais da Apple; ele mesmo não rastreia nada.
- robots.txt
robots.txt é um arquivo de texto simples na raiz de um site que diz aos rastreadores quais caminhos eles podem acessar, segundo o Robots Exclusion Protocol (RFC 9309).
Exemplo prático: Tesla, respostas públicas de IA, 4 de out. de 2026: a primeira análise da Tesla feita pelo Proofsource, com 25 perguntas de compra e 5 perguntas sobre a marca, uma resposta por pergunta em cada um de quatro mecanismos. Uma amostra pequena de uma única marca, mostrada como exemplo, não como benchmark.
Veja onde a IA deixa você de fora, e o que corrigir.
Veja quais perguntas de compra mencionam sua marca, quem é mencionado no lugar e o que corrigir. 200 respostas. 25 Prompts/pergunta. Os principais mecanismos de IA. 2 dias. Grátis. Sem cartão.
Google AI OverviewsGoogle AI Mode
