Qu’est-ce que Claude-SearchBot ?
Claude-SearchBot est le robot d’Anthropic qui parcourt le web pour améliorer la qualité et la pertinence des résultats de recherche de Claude. Claude-SearchBot est le robot d’indexation derrière la recherche de Claude : il lit le web à l’avance pour que Claude dispose de bons résultats. Le bloquer est une décision de recherche, pas d’entraînement.
Que fait Claude-SearchBot ?
Anthropic indique que Claude-SearchBot parcourt le web pour améliorer la qualité des résultats de recherche pour les utilisateurs, en analysant le contenu en ligne afin d’améliorer la pertinence et l’exactitude des réponses de recherche. Le désactiver empêche le système d’Anthropic d’indexer votre contenu pour l’optimisation de la recherche, ce qui, selon Anthropic, peut réduire la visibilité et l’exactitude de votre site dans les résultats de recherche des utilisateurs (Anthropic, 7 avril 2026).
Comment se comporte Claude-SearchBot ?
Anthropic documente les mêmes règles pour ses trois bots :
- Ils respectent les directives du robots.txt.
- Ils ne tentent pas de contourner les CAPTCHA ni les autres mesures anti-contournement.
- Ils prennent en charge la règle non standard Crawl-delay, pour ralentir un bot sans le bloquer.
- Une règle s’applique hôte par hôte : chaque sous-domaine a besoin de la sienne.
- Bloquer par adresse IP peut ne pas fonctionner de façon fiable, car cela peut empêcher les bots de lire le robots.txt.
Comment autoriser Claude-SearchBot tout en bloquant l’entraînement ?
Donnez à chaque bot son propre groupe. C’est le choix courant des marques qui veulent être citées par Claude sans alimenter les données d’entraînement. Vérifiez le fichier en ligne avec le vérificateur gratuit des robots d’indexation IA.
# Rester trouvable dans la recherche de Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Exclure le contenu de l'entraînement d'Anthropic
User-agent: ClaudeBot
Disallow: /Quel est l’enjeu, sur un exemple réel ?
Dans l’exemple public Tesla (4 oct. 2026), Claude a cité 351 pages pour 25 questions d’achat, plus que ChatGPT et Google AI Overviews réunis, et a nommé Tesla dans 11 réponses.
Une longue liste de sources représente un grand nombre d’emplacements de citation, et c’est Claude-SearchBot qui décide si vos pages y sont indexées. tesla.com a obtenu une de ces 351 citations ; la plupart sont allées à des sites de référence et à des sites tiers.
Comment voir Claude-SearchBot sur votre site ?
Proofsource compte chaque jour les requêtes des robots d’indexation IA à partir de votre zone Cloudflare ou de vos logs d’accès, vérifiées par rapport à la liste d’IP publiée par Anthropic, et montre quelles pages explorées finissent citées dans les réponses de Claude. Voir AI Traffic et l’accès des robots d’indexation.
Questions fréquentes sur Claude-SearchBot
Claude-SearchBot sert-il à l’entraînement ?
Anthropic le décrit comme indexant du contenu pour améliorer les résultats de recherche. L’entraînement est le rôle de ClaudeBot, et chaque bot a sa propre règle dans le robots.txt.
Que se passe-t-il si je bloque Claude-SearchBot ?
Anthropic indique que votre contenu cesse d’être indexé pour l’optimisation de la recherche, ce qui peut réduire votre visibilité et l’exactitude des réponses de recherche de Claude.
Puis-je ralentir Claude-SearchBot au lieu de le bloquer ?
Oui. Anthropic prend en charge la règle non standard Crawl-delay pour ses bots.
Comment savoir si une visite vient vraiment de Claude-SearchBot ?
Comparez l’IP source à la liste qu’Anthropic publie sur claude.com/crawling/bots.json ; Anthropic indique qu’une IP de cette liste provient bien d’Anthropic.
Termes liés
- ClaudeBot
ClaudeBot est le robot d’indexation d’Anthropic qui collecte des contenus web pouvant servir à l’entraînement des modèles Claude d’Anthropic.
- Claude-User
Claude-User est l’agent qu’utilise Anthropic pour récupérer une page web quand une personne pose à Claude une question qui le nécessite.
- robots.txt
robots.txt est un fichier texte brut placé à la racine d’un site web qui indique aux robots d’indexation quels chemins ils peuvent récupérer, selon le Robots Exclusion Protocol (RFC 9309).
- PerplexityBot
PerplexityBot est le robot de Perplexity qui indexe les pages web pour qu’elles puissent apparaître, avec un lien, dans les résultats de recherche de Perplexity.
Exemple détaillé : Tesla, réponses publiques de l’IA, 4 oct. 2026 : la première analyse de Tesla par Proofsource, 25 questions d’achat et 5 questions de marque, une réponse par question sur chacun des quatre moteurs. Un petit échantillon d’une seule marque, présenté comme exemple, pas comme référence.
Voyez où l’IA vous laisse de côté, et quoi corriger.
Voyez quelles questions d’achat nomment votre marque, qui est nommé à votre place et quoi corriger. 200 réponses. 25 Prompts/question. Les meilleurs moteurs d’IA. 2 jours. Gratuit. Sans carte bancaire.
Google AI OverviewsGoogle AI Mode
