Vérificateur robots.txt pour les robots d’IA et Googlebot
Un vérificateur robots.txt gratuit. Collez votre robots.txt et nous le lisons pour 16 robots, les bots IA d’OpenAI, Anthropic et Perplexity plus Googlebot et Bingbot, en indiquant si chacun est autorisé, bloqué ou non mentionné, avec la ligne qui en décide.
Seize robots, IA et recherche, et à quoi sert chacun.
Les résultats s’affichent ici. Rien n’est stocké et aucun modèle d’IA n’intervient : c’est une simple lecture du robots.txt.
GPTBot · OpenAI · Entraînement
Collecte des pages pour entraîner les modèles d’OpenAI.
OAI-SearchBot · OpenAI · Rechercher
Indexe les pages pour que ChatGPT search puisse les citer.
ChatGPT-User · OpenAI · Visite utilisateur
Ouvre une page quand un utilisateur de ChatGPT le lui demande.
ClaudeBot · Anthropic · Entraînement
Collecte des pages pour entraîner les modèles Claude.
Claude-SearchBot · Anthropic · Rechercher
Indexe les pages pour que Claude puisse les citer dans ses réponses de recherche.
Claude-User · Anthropic · Visite utilisateur
Ouvre une page quand un utilisateur de Claude le lui demande.
anthropic-ai · Anthropic · Entraînement
Un ancien token d’Anthropic que de nombreux fichiers robots.txt citent encore.
PerplexityBot · Perplexity · Rechercher
Indexe les pages pour que Perplexity puisse les citer dans ses réponses.
Perplexity-User · Perplexity · Visite utilisateur
Ouvre une page quand un utilisateur de Perplexity le lui demande.
Google-Extended · Google · Entraînement
Décide si Gemini peut s’entraîner sur les pages qu’explore Googlebot. La recherche n’est pas affectée.
Googlebot · Google · Rechercher
La recherche Google, sur laquelle s’appuient AI Overviews et AI Mode.
Bingbot · Microsoft · Rechercher
La recherche Bing, l’index dont s’inspirent les réponses de Copilot.
Applebot-Extended · Apple · Entraînement
Décide si Apple peut entraîner ses modèles sur les pages qu’explore Applebot.
CCBot · Common Crawl · Entraînement
Construit le jeu de données ouvert Common Crawl sur lequel s’entraînent de nombreux modèles.
Meta-ExternalAgent · Meta · Entraînement
Collecte des pages pour entraîner les modèles de Meta AI.
Bytespider · ByteDance · Entraînement
Collecte des pages pour entraîner les modèles de ByteDance.
Les règles suivent la RFC 9309 : un robot obéit aux groupes qui le nomment, sinon au groupe * ; la règle correspondante la plus longue l’emporte, et Allow l’emporte en cas d’égalité. Le verdict porte sur la page d’accueil. Les robots d’entraînement alimentent les futurs modèles ; les robots de recherche décident si une réponse d’IA peut vous citer aujourd’hui ; les consultations utilisateur ont lieu quand quelqu’un demande à un assistant d’ouvrir votre page.
Le robots.txt n’est que la moitié de l’accès. Un réglage anti-robots du CDN peut encore refouler un robot que le robots.txt autorise, et cette vérification ne peut pas le voir ; Accès des robots dans Proofsource demande vos pages en se faisant passer pour chaque robot afin de le savoir. Découvrez pourquoi bloquer GPTBot ne vous retire pas de ChatGPT, vérifiez votre fichier avec le validateur llms.txt, ou commencez par le guide de la visibilité IA.
Ce que signifient les réponses.
Faut-il bloquer les robots d’entraînement ?
C’est une décision business. Bloquer GPTBot ou ClaudeBot exclut vos pages des futurs jeux d’entraînement, mais n’empêche pas ChatGPT ou Claude de vous citer via leurs robots de recherche. Bloquer OAI-SearchBot, Claude-SearchBot ou PerplexityBot vous retire bel et bien de ces réponses.
Pourquoi un robot d’indexation affiche-t-il « non mentionné » ?
Votre robots.txt n’a pas de groupe pour lui, il suit donc le groupe *. S’il n’y a pas non plus de groupe *, rien ne le restreint.
robots.txt arrête-t-il tous les bots ?
Non. C’est une demande que les grandes entreprises d’IA disent respecter. Elle ne bloque pas un robot qui l’ignore ; une règle de pare-feu, si.
Être explorable est la première étape.
Proofsource montre si ChatGPT, Perplexity, Claude et Google vous mentionnent vraiment, quels concurrents ils mentionnent à votre place et ce qu’il faut corriger.