OpenAI envoie quatre agents, et un seul conditionne la recherche de ChatGPT
Un extrait de robots.txt qui interdit GPTBot circule. Beaucoup l’ont collé et ont eu le sentiment d’avoir réglé la question de ChatGPT. Ils ont réglé une question. Simplement pas celle-là.
OpenAI documente quatre user agents, chacun avec son rôle. GPTBot explore du contenu susceptible de servir à entraîner les modèles de base. OAI-SearchBot est celui qui sert à faire apparaître des sites dans les fonctions de recherche de ChatGPT, et la page d’OpenAI indique que les sites qui l’excluent ne seront pas affichés dans les réponses de recherche de ChatGPT, même s’ils peuvent encore apparaître comme liens de navigation. ChatGPT-User récupère une page quand une personne pose une question à ChatGPT et, comme c’est un utilisateur qui en est à l’origine, OpenAI indique que les règles de robots.txt peuvent ne pas s’appliquer. OAI-AdsBot ne visite que les pages soumises comme publicités.
OpenAI précise que chaque réglage est indépendant. Vous pouvez autoriser OAI-SearchBot et interdire GPTBot, ce qui revient à dire oui à être trouvable et non à servir de données d’entraînement. C’est une position raisonnable pour la plupart des entreprises, et presque aucun des robots.txt que nous avons lus ne l’exprime réellement. Comptez environ une journée dans un sens comme dans l’autre : OpenAI indique qu’il faut à peu près 24 heures après une modification de robots.txt pour que ses systèmes la prennent en compte.
Anthropic découpe en trois, et Perplexity vous ignore quand une personne pose la question
Anthropic en exploite trois. ClaudeBot recueille du contenu web susceptible de servir à l’entraînement. Claude-SearchBot indexe du contenu pour améliorer les résultats de recherche. Claude-User récupère une page quand quelqu’un pose une question à Claude. La page d’aide d’Anthropic détaille la conséquence de chacun : désactivez Claude-SearchBot et votre contenu cesse d’être indexé pour la recherche, désactivez Claude-User et Claude cesse de récupérer votre page en réponse à la question d’un utilisateur.
Perplexity en exploite deux. PerplexityBot sert à faire apparaître et à lier des sites dans les résultats de Perplexity et ne sert pas du tout à recueillir des données d’entraînement. Perplexity-User visite une page quand quelqu’un pose une question, et la documentation de Perplexity dit tout haut ce qu’on préfère d’habitude taire : comme c’est un utilisateur qui a demandé la récupération, cet agent ignore généralement robots.txt.
Faites le total, et la règle générale de blocage des robots d’IA arrive à un endroit étrange. Sur les neuf agents ci-dessus, la plupart de ceux que les gens veulent arrêter sont ceux qui placent votre lien sous les yeux d’un acheteur, et l’un d’eux n’écoute de toute façon pas robots.txt.
Google-Extended n’a rien à voir avec les AI Overviews
C’est celui qui coûte le plus cher. Google-Extended est un jeton robots.txt, sans user agent propre, qui détermine si le contenu exploré sert à entraîner les futurs modèles Gemini et à ancrer les applications Gemini. La documentation des robots de Google indique sans détour qu’il n’affecte pas l’inclusion d’un site dans la recherche Google et n’est pas utilisé comme signal de classement. Le bloquer ne change rien aux AI Overviews.
AI Overviews et AI Mode font partie de la recherche. Google le dit dans ses propres recommandations aux propriétaires de sites : l’IA est intégrée à la recherche, et ce sont les directives robots.txt pour Googlebot qui en sont le levier. Vient ensuite la phrase qui piège. Pour être éligible comme lien d’appui dans AI Overviews ou AI Mode, une page doit être indexée et éligible à l’affichage avec un extrait. Si vous, ou quelqu’un avant vous, avez défini nosnippet, data-nosnippet ou un max-snippet très court pour tenir les scrapers à l’écart, vous vous êtes retiré de la réponse de l’IA, et rien dans vos statistiques ne l’a signalé.
Le même guide de Google indique qu’il n’est pas nécessaire de créer de nouveaux fichiers lisibles par les machines ou de fichiers texte pour l’IA pour apparaître dans ces fonctionnalités. Nous disons depuis un moment de ne pas voir llms.txt comme un correctif : aucun des moteurs que nous suivons ne le documente comme signal de classement. Il est utile que Google énonce la version générale avec ses propres mots.
Votre CDN a peut-être déjà répondu à votre place
Le 1er juillet 2025, Cloudflare a annoncé qu’il bloquerait désormais par défaut les robots d’IA sauf s’ils paient pour le contenu, et a lancé un robots.txt géré qu’il sert en votre nom et met à jour à mesure que de nouveaux robots apparaissent. Chaque nouveau site qui rejoint Cloudflare doit désormais faire ce choix à la configuration.
Pour beaucoup d’entreprises, la réponse honnête à « que dit mon robots.txt sur ChatGPT ? » est donc « je ne sais pas, c’est mon CDN qui l’écrit ». Une règle de WAF fait le même travail, en plus radical. La requête n’atteint jamais votre serveur d’origine, donc rien dans vos journaux ni vos statistiques n’enregistre une visite qui n’a pas eu lieu. Votre page se positionne toujours, se charge toujours, a toujours l’air correcte pour vous.
Et une récupération qui aboutit doit encore revenir avec des mots. Une page rendue côté client renvoie à ces agents un 200 et un conteneur vide, ce qui ressemble pour vous à une page qui fonctionne et pour eux à rien du tout.
Six vérifications qui règlent la question en un après-midi
Rien de tout cela n’exige un outil. Il faut curl, vos journaux et une heure. Nous le faisons sous forme d’audit d’accessibilité aux robots, avec l’analyse des robots de Cloudflare derrière, mais vous pouvez faire chaque ligne vous-même.
- Récupérez votre robots.txt depuis l’internet public, pas depuis votre dépôt, et cherchez-y chaque jeton par son nom : OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot.
- Faites-le pour chaque sous-domaine. docs.example.com et www.example.com sont des fichiers distincts et des décisions distinctes, et le sous-domaine de documentation est généralement celui que vous voulez voir cité.
- Demandez une page que vous voulez voir citée avec le user agent publié de chaque agent, et lisez ce qui revient. Un 200 avec un div vide est un échec, pas une réussite.
- Cherchez dans votre CDN et votre WAF un robots.txt géré ou une règle sur les robots que personne de l’équipe actuelle n’a écrite.
- Vérifiez dans l’en-tête de vos meilleures pages la présence de noindex, nosnippet, data-nosnippet et max-snippet. Chacun peut retirer discrètement une page de l’éligibilité aux AI Overviews.
- Cherchez les noms des agents dans vos journaux d’accès, puis comparez les adresses sources aux plages d’IP publiées par OpenAI, Perplexity et Anthropic. N’importe qui peut taper un user agent. C’est la plage d’adresses qui vérifie.
Où cette analyse pourrait se tromper
Tout ce qui précède est la description que fait chaque moteur de ses propres robots, et les jetons comme les comportements évoluent. La page d’Anthropic porte une date d’avril 2026, la liste des robots de Google a été mise à jour pour la dernière fois en juillet 2026, et OpenAI ajoute un agent chaque fois qu’il lance un produit qui récupère des pages. Lisez la documentation en vigueur avant de modifier une ligne, pas cet article.
robots.txt est une demande. Une entreprise qui affirme que son robot le respecte fait une déclaration de principe, pas un mécanisme de contrainte, et deux des agents évoqués ici documentent qu’ils ne l’appliquent pas du tout aux requêtes lancées par un utilisateur. Si vous avez besoin que quelque chose ne soit pas lu, robots.txt n’a jamais été le bon outil.
Laisser entrer un robot ne vous fait pas non plus citer. L’accès est le plancher, pas la réponse. Dans la catégorie que nous avons échantillonnée, les listicles représentaient 44 % de ce que ChatGPT citait pour une question « les meilleurs », donc être lisible et être choisi sont deux problèmes différents. Nos 44 % sont une mesure unique sur l’échantillon que nous avons pris, pas une constante.
Cela vaut quand même un après-midi, parce que cet échec est silencieux par construction. Rien, nulle part, ne signale une récupération qui n’a jamais eu lieu.
