Qu’est-ce que ClaudeBot ?
ClaudeBot est le robot d’indexation d’Anthropic qui collecte des contenus web pouvant servir à l’entraînement des modèles Claude d’Anthropic. Anthropic exploite trois bots aux rôles distincts : ClaudeBot pour l’entraînement, Claude-SearchBot pour l’indexation de la recherche et Claude-User pour récupérer une page quand quelqu’un pose une question à Claude. Chacun est désigné séparément dans robots.txt : une règle pour ClaudeBot ne dit donc rien des deux autres.
Quel est le user-agent de ClaudeBot ?
ClaudeBot s’identifie avec le jeton produit ClaudeBot, et c’est ce jeton qu’un groupe robots.txt doit nommer. L’article d’aide d’Anthropic nomme ses trois bots (ClaudeBot, Claude-User et Claude-SearchBot), mais ne publie pas de chaîne user-agent complète : dans vos journaux, cherchez donc le jeton plutôt qu’une chaîne copiée (article d’Anthropic sur son robot d’indexation, consulté le 15 oct. 2026).
Un nom dans une ligne de journal peut être usurpé. Pour confirmer qu’une requête vient vraiment d’Anthropic, comparez son IP source à la liste qu’Anthropic publie sur claude.com/crawling/bots.json ; Anthropic indique qu’un robot dont l’IP source figure sur cette liste provient d’Anthropic.
Certains fichiers robots.txt nomment encore anthropic-ai ou Claude-Web, des jetons plus anciens. L’article actuel d’Anthropic ne mentionne ni l’un ni l’autre : rien n’indique qu’une règle qui ne nomme que ces anciens jetons couvre ClaudeBot.
Que collecte ClaudeBot, et pourquoi ?
ClaudeBot collecte du contenu web public susceptible de contribuer à l’entraînement des modèles d’IA générative d’Anthropic, ce qui, selon Anthropic, améliore l’utilité et la sécurité des modèles. Le bloquer signale que le contenu futur de votre site doit être exclu des données d’entraînement d’Anthropic.
Anthropic décrit aussi le comportement de ses bots :
- Ils respectent les directives « ne pas explorer » de robots.txt.
- Ils ne tentent pas de contourner les CAPTCHA ni les autres mesures anti-contournement.
- Ils prennent en charge la règle non standard Crawl-delay : vous pouvez ralentir ClaudeBot au lieu de le bloquer.
- Une règle ne s’applique qu’à un seul hôte : un site avec des sous-domaines a besoin de la règle dans le robots.txt de chaque sous-domaine.
En quoi ClaudeBot diffère-t-il de Claude-User et de Claude-SearchBot ?
ClaudeBot concerne l’entraînement ; Claude-SearchBot et Claude-User concernent le fait d’être trouvé et lu quand on interroge Claude. Anthropic prévient que désactiver l’un de ces deux derniers peut réduire la visibilité de votre site dans les réponses de recherche de Claude.
| Bot | Rôle | Si vous le bloquez |
|---|---|---|
| ClaudeBot | Collecte du contenu web susceptible de contribuer à l’entraînement des modèles | Signale que votre contenu futur doit être exclu de l’entraînement |
| Claude-SearchBot | Parcourt le web pour améliorer la qualité et la pertinence des résultats de recherche de Claude | Arrête l’indexation pour la recherche, ce qui peut réduire votre visibilité et votre exactitude dans les réponses de recherche de Claude |
| Claude-User | Récupère une page quand une personne pose à Claude une question qui en a besoin | Claude ne peut pas récupérer vos pages pour ces questions, ce qui peut réduire votre visibilité dans la recherche à l’initiative des utilisateurs |
Comment bloquer ou autoriser ClaudeBot dans robots.txt ?
Ajoutez un groupe qui nomme ClaudeBot dans le fichier robots.txt à la racine de chaque hôte. L’exemple d’Anthropic lui-même bloque ClaudeBot sur tout le site avec une seule ligne Disallow: / sous User-agent: ClaudeBot.
Le choix le plus courant consiste à exclure le contenu de l’entraînement tout en restant trouvable dans les réponses de Claude : bloquer ClaudeBot et autoriser les deux autres. Crawl-delay est le moyen documenté par Anthropic pour ralentir ClaudeBot au lieu de le bloquer. Ne comptez pas sur le blocage des adresses IP d’Anthropic ; Anthropic indique que cela peut ne pas fonctionner de façon fiable, car cela empêche ses bots de lire votre robots.txt. Vérifiez ensuite le fichier en ligne avec le vérificateur gratuit des robots d’indexation IA.
# Exclure le contenu de l’entraînement d’Anthropic
User-agent: ClaudeBot
Disallow: /
# Rester trouvable dans les réponses de Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Ou, au lieu de bloquer ClaudeBot, le ralentir :
# User-agent: ClaudeBot
# Crawl-delay: 1Qu’est-ce que cela change pour être cité par Claude ?
Être cité par Claude dépend de l’accès de Claude-SearchBot et de Claude-User à vos pages ; ClaudeBot est une décision distincte, qui porte sur l’entraînement. Bloquer les trois revient à renoncer aux deux.
Les citations de Claude sont très dispersées, même pour une marque célèbre. Dans l’exemple public de Tesla (4 oct. 2026), Claude a nommé Tesla dans 11 réponses sur 25 à des questions d’achat et a donné 351 citations dans ces réponses, dont une seule vers tesla.com. Son site le plus cité était en.wikipedia.org, 16 fois. C’est l’espace de citations pour lequel une règle visant le robot de recherche décide si vous pouvez concourir, et il se mesure en posant les questions, pas en lisant robots.txt. Voyez comment Claude choisit les marques qu’il nomme.
Questions fréquentes sur ClaudeBot
Bloquer ClaudeBot retire-t-il mon site de Claude ?
Pas d’après la description d’Anthropic. ClaudeBot est le robot d’entraînement. L’indexation pour la recherche relève de Claude-SearchBot et la récupération de pages pour la question d’un utilisateur de Claude-User ; Anthropic indique que c’est le blocage de ces deux-là qui peut réduire votre visibilité dans les réponses de recherche de Claude.
ClaudeBot respecte-t-il robots.txt ?
Anthropic indique que ses bots respectent les directives de robots.txt, ne contournent pas les CAPTCHA et prennent en charge Crawl-delay. Placez la règle dans le robots.txt de chaque sous-domaine à couvrir.
Faut-il bloquer ClaudeBot par adresse IP ?
Anthropic déconseille de s’y fier : bloquer ses adresses IP peut ne pas fonctionner de façon fiable ni durable, et empêche ses bots de lire votre robots.txt. Utilisez robots.txt pour la règle, et la liste d’IP publiée par Anthropic uniquement pour confirmer qu’une requête est authentique.
ClaudeBot, est-ce la même chose qu’anthropic-ai ?
Non. anthropic-ai et Claude-Web sont d’anciens jetons que certains fichiers robots.txt contiennent encore, et l’article actuel d’Anthropic ne les mentionne pas. Il ne nomme que ClaudeBot, Claude-SearchBot et Claude-User : écrivez vos règles pour ces trois-là.
Termes liés
- GPTBot
GPTBot est le robot d’indexation d’OpenAI qui collecte des contenus pouvant servir à entraîner les modèles de fondation d’IA générative d’OpenAI.
- OAI-SearchBot
OAI-SearchBot est le robot d’OpenAI qui fait apparaître des sites web dans les fonctions de recherche de ChatGPT ; les sites qui le refusent ne sont pas affichés dans les réponses de recherche de ChatGPT.
- PerplexityBot
PerplexityBot est le robot de Perplexity qui indexe les pages web pour qu’elles puissent apparaître, avec un lien, dans les résultats de recherche de Perplexity.
Exemple détaillé : Tesla, réponses publiques de l’IA, 4 oct. 2026 : la première analyse de Tesla par Proofsource, 25 questions d’achat et 5 questions de marque, une réponse par question sur chacun des quatre moteurs. Un petit échantillon d’une seule marque, présenté comme exemple, pas comme référence.
Voyez où l’IA vous laisse de côté, et quoi corriger.
Voyez quelles questions d’achat nomment votre marque, qui est nommé à votre place et quoi corriger. 200 réponses. 25 Prompts/question. Les meilleurs moteurs d’IA. 2 jours. Gratuit. Sans carte bancaire.
Google AI OverviewsGoogle AI Mode
