Qu’est-ce que CCBot ?
CCBot est le robot d’indexation de Common Crawl, une organisation à but non lucratif qui publie une copie libre et ouverte du web que chercheurs et développeurs d’IA utilisent comme données d’entraînement. CCBot n’est pas le robot d’indexation d’une entreprise d’IA, mais son archive alimente de nombreux modèles d’IA. Common Crawl publie gratuitement sa copie du web : bloquer CCBot est donc une décision qui touche des jeux de données ouverts sur lesquels s’entraînent chercheurs et développeurs d’IA.
Qu’est-ce que Common Crawl, et que fait CCBot ?
Common Crawl se présente comme une organisation à but non lucratif 501(c)(3) dont la mission est de fournir gratuitement une copie d’internet aux chercheurs, aux entreprises et aux particuliers ; CCBot est le robot d’indexation qui la collecte (FAQ de Common Crawl, consultée le 15 oct. 2026).
Ses données atteignent les modèles d’IA par l’intermédiaire des développeurs qui les utilisent. L’article d’OpenAI sur GPT-3, par exemple, présente une version filtrée de Common Crawl comme la plus grande part du corpus d’entraînement de ce modèle (Language Models are Few-Shot Learners, 28 mai 2020).
Comment se comporte CCBot ?
Common Crawl documente les règles de son robot :
- Il consulte le robots.txt et ne récupère une page que si son exploration est autorisée.
- Il respecte Crawl-delay ; Crawl-delay: 2 le limite à une requête toutes les 2 secondes.
- Il respecte le nofollow des liens pour la découverte de liens.
- Il revérifie périodiquement le robots.txt : un nouveau blocage prend donc effet lors des visites suivantes.
- Il fonctionne sur des plages d’IP dédiées avec DNS inverse, publiées en JSON pour vérification.
Comment bloquer ou vérifier CCBot ?
Ajoutez un groupe pour CCBot dans le robots.txt. Son user agent est CCBot/2.0 (https://commoncrawl.org/faq/), et Common Crawl fournit un nom d’hôte DNS inverse sous crawl.commoncrawl.org pour vérifier une requête (CCBot).
# Exclure le contenu de l'archive ouverte de Common Crawl
User-agent: CCBot
Disallow: /Que change le blocage de CCBot, sur un exemple réel ?
Il change les futurs jeux de données ouverts, pas les réponses d’aujourd’hui. Dans l’exemple public Tesla (4 oct. 2026), Claude a répondu à « What is Tesla? » et « Is Tesla legit? » à partir de ce que le modèle savait déjà, sans citer de source : cette mémoire venait de données d’entraînement collectées bien avant.
Sur les questions d’achat, les mêmes moteurs ont cité 455 sites différents, lus au moment de la réponse par leurs propres robots de recherche et agents de récupération. Une règle CCBot ne touche aucun de ces circuits en direct ; ce sont les agents de recherche et les agents utilisateur qui comptent.
Comment vérifier votre règle CCBot ?
Lisez votre robots.txt en ligne sur chaque hôte à la recherche d’un groupe CCBot, et tranchez en même temps que pour les robots d’entraînement IA. Le vérificateur gratuit des robots d’indexation IA lit votre robots.txt en ligne, et l’accès des robots d’indexation dans Proofsource le suit dans le temps.
Questions fréquentes sur CCBot
Bloquer CCBot retire-t-il mes pages des réponses de l’IA ?
Non. Les réponses d’IA qui font une recherche utilisent les propres robots et agents de récupération des moteurs. CCBot n’affecte que la future archive de Common Crawl.
Bloquer CCBot retire-t-il mon contenu des jeux de données existants ?
La documentation de Common Crawl décrit comment CCBot cesse d’explorer un site bloqué. Elle ne dit pas que les archives passées sont modifiées : partez du principe que ce qui a été collecté reste.
CCBot est-il le robot d’indexation d’une entreprise d’IA ?
Non. Common Crawl est une organisation à but non lucratif qui publie son archive pour tous. Les développeurs d’IA font partie des nombreux utilisateurs de ces données.
CCBot respecte-t-il Crawl-delay ?
Oui. Common Crawl indique qu’il respecte le paramètre Crawl-delay du robots.txt.
Termes liés
- GPTBot
GPTBot est le robot d’indexation d’OpenAI qui collecte des contenus pouvant servir à entraîner les modèles de fondation d’IA générative d’OpenAI.
- ClaudeBot
ClaudeBot est le robot d’indexation d’Anthropic qui collecte des contenus web pouvant servir à l’entraînement des modèles Claude d’Anthropic.
- Applebot-Extended
Applebot-Extended est un jeton robots.txt qui permet à un site de refuser qu’Apple utilise ses contenus pour entraîner ses modèles de fondation ; il n’explore rien lui-même.
- robots.txt
robots.txt est un fichier texte brut placé à la racine d’un site web qui indique aux robots d’indexation quels chemins ils peuvent récupérer, selon le Robots Exclusion Protocol (RFC 9309).
Exemple détaillé : Tesla, réponses publiques de l’IA, 4 oct. 2026 : la première analyse de Tesla par Proofsource, 25 questions d’achat et 5 questions de marque, une réponse par question sur chacun des quatre moteurs. Un petit échantillon d’une seule marque, présenté comme exemple, pas comme référence.
Voyez où l’IA vous laisse de côté, et quoi corriger.
Voyez quelles questions d’achat nomment votre marque, qui est nommé à votre place et quoi corriger. 200 réponses. 25 Prompts/question. Les meilleurs moteurs d’IA. 2 jours. Gratuit. Sans carte bancaire.
Google AI OverviewsGoogle AI Mode
