Qu’est-ce que robots.txt ?
robots.txt est un fichier texte brut placé à la racine d’un site web qui indique aux robots d’indexation quels chemins ils peuvent récupérer, selon le Robots Exclusion Protocol (RFC 9309). robots.txt est le plus ancien moyen de contrôle d’un site sur les robots d’indexation, et à l’ère de l’IA il porte plus de décisions que jamais : l’entraînement, l’indexation pour la recherche et les consultations déclenchées par un utilisateur ont chacun leur bot, et une règle pour l’un ne dit rien des autres.
Comment fonctionne robots.txt ?
Il fonctionne par groupes : chacun nomme un ou plusieurs tokens de user-agent et liste des chemins Allow et Disallow. Les règles sont normalisées sous le nom de Robots Exclusion Protocol dans la RFC 9309 (Koster, Illyes, Zeller et Sassman, septembre 2022), qui fixe les détails que suivent les robots (RFC 9309, consultée le 15 oct. 2026) :
- Le fichier s’appelle robots.txt, en minuscules, à la racine de l’hôte, servi en texte brut UTF-8.
- Quand des règles se contredisent, la correspondance la plus précise l’emporte : celle qui compte le plus d’octets.
- Les robots doivent analyser au moins 500 kibioctets du fichier, et ne devraient pas utiliser une copie en cache plus de 24 heures, sauf si le fichier est inaccessible.
- Une réponse 4xx autorise un robot à tout récupérer ; une réponse 5xx l’oblige à considérer que tout est interdit.
- Les règles ne sont pas une forme d’autorisation d’accès : ce sont une demande, et un chemin listé est visible publiquement.
Comment écrire des règles robots.txt pour les robots d’IA ?
Nommez chaque bot par son token et décidez de chaque usage séparément. La position la plus courante consiste à rester trouvable dans la recherche IA tout en gardant le contenu hors de l’entraînement : autoriser les agents de recherche et de consultation à la demande, interdire les robots d’entraînement auxquels vous vous opposez.
Chaque hôte a son propre fichier : docs.example.com a donc besoin de ses propres règles ; Anthropic demande aux propriétaires de sites d’ajouter ses règles à chaque sous-domaine qu’ils veulent couvrir (Anthropic, 7 avril 2026).
# Trouvable dans la recherche IA et les consultations à la demande
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Exclu de l’entraînement des modèles
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /Quelles erreurs dans robots.txt vous cachent des réponses de l’IA ?
Les plus coûteuses sont généralement involontaires :
- Bloquer les agents de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot) alors que l’on voulait bloquer l’entraînement.
- Une règle générale sous User-agent: * qui attrape aussi les robots de recherche IA.
- Un réglage du CDN ou de sécurité qui bloque les bots d’IA avant même que votre robots.txt soit lu.
- Des règles sur www mais pas sur le sous-domaine docs ou aide que les moteurs veulent le plus citer.
- Des contrôles d’extrait sur des pages clés : Google indique qu’une page doit pouvoir s’afficher avec un extrait pour apparaître dans les AI Overviews ou AI Mode (Google Search Central).
Que décide robots.txt dans un exemple réel ?
Il décide si vos pages peuvent seulement concourir pour les citations. Dans l’exemple public de Tesla (4 oct. 2026), Perplexity a donné 375 citations et Claude 351 sur 25 questions d’achat ; tesla.com en a obtenu 3 et 1.
Un site dont le robots.txt bloque les agents de recherche de ces moteurs renonce même à cela. Les autoriser ne fait pas gagner de citations à lui seul ; cela met vos pages dans la course.
Comment vérifier votre robots.txt pour les robots d’IA ?
Récupérez le fichier en ligne depuis l’internet public, pour chaque hôte, et cherchez-y chaque token par son nom. Le vérificateur gratuit des robots d’IA lit votre robots.txt en ligne et indique quels robots d’IA il autorise ou bloque, et l’Accès des robots dans Proofsource le vérifie avec la couche CDN et le texte rendu.
Questions fréquentes sur robots.txt
robots.txt empêche-t-il l’IA d’utiliser mon contenu ?
Seulement pour les robots qui le respectent, et seulement à partir du moment où ils le lisent. C’est une demande, pas un verrou, et les agents de consultation à la demande comme Perplexity-User indiquent qu’ils l’ignorent généralement.
Bloquer GPTBot me retire-t-il de ChatGPT ?
Non. GPTBot est le robot d’entraînement d’OpenAI. ChatGPT Search dépend d’OAI-SearchBot, et OpenAI précise que chaque réglage est indépendant.
Combien de temps faut-il pour que les changements de robots.txt s’appliquent ?
La RFC 9309 indique que les robots ne devraient pas se fier à une copie en cache plus de 24 heures, et OpenAI indique que ses systèmes de recherche mettent environ 24 heures à refléter un changement.
llms.txt remplace-t-il robots.txt ?
Non. robots.txt fixe les règles des robots. llms.txt est une proposition de liste de lecture pour les modèles de langage et n’a aucun poids sur l’accès.
Termes liés
- GPTBot
GPTBot est le robot d’indexation d’OpenAI qui collecte des contenus pouvant servir à entraîner les modèles de fondation d’IA générative d’OpenAI.
- OAI-SearchBot
OAI-SearchBot est le robot d’OpenAI qui fait apparaître des sites web dans les fonctions de recherche de ChatGPT ; les sites qui le refusent ne sont pas affichés dans les réponses de recherche de ChatGPT.
- ClaudeBot
ClaudeBot est le robot d’indexation d’Anthropic qui collecte des contenus web pouvant servir à l’entraînement des modèles Claude d’Anthropic.
- llms.txt
llms.txt est un fichier markdown proposé, placé à la racine d’un site web, qui indique aux modèles de langage ce qu’est le site et liste les pages qui valent le plus d’être lues.
Exemple détaillé : Tesla, réponses publiques de l’IA, 4 oct. 2026 : la première analyse de Tesla par Proofsource, 25 questions d’achat et 5 questions de marque, une réponse par question sur chacun des quatre moteurs. Un petit échantillon d’une seule marque, présenté comme exemple, pas comme référence.
Voyez où l’IA vous laisse de côté, et quoi corriger.
Voyez quelles questions d’achat nomment votre marque, qui est nommé à votre place et quoi corriger. 200 réponses. 25 Prompts/question. Les meilleurs moteurs d’IA. 2 jours. Gratuit. Sans carte bancaire.
Google AI OverviewsGoogle AI Mode
