Corrigez votre propre site pour que l’IA puisse vous lire et vous situer.

Chaque moteur envoie ses propres bots, et chacun peut être autorisé ou refusé séparément. Ceux qui décident si vous pouvez apparaître dans les réponses aujourd’hui sont les robots de recherche et ceux qui consultent une page à la demande d’un utilisateur. Les robots d’entraînement décident de ce que les futurs modèles pourront apprendre.

Le bot que la plupart des sites bloquent n’est pas celui qui décide s’ils apparaissent. OpenAI documente GPTBot comme son robot d’entraînement et OAI-SearchBot comme celui qui fait apparaître les sites dans la recherche ChatGPT ; les sites qui excluent OAI-SearchBot n’apparaissent pas dans les réponses de la recherche ChatGPT. Anthropic sépare ClaudeBot (entraînement) de Claude-SearchBot et Claude-User, et Perplexity indique que PerplexityBot ne sert pas du tout à l’entraînement. Selon la documentation de Google sur ses robots, Google-Extended n’a aucun effet sur l’inclusion dans la recherche Google : le bloquer ne change donc rien aux AI Overviews (la carte complète des robots).

Deux erreurs sont fréquentes, et aucune ne se voit quand vous consultez votre site dans un navigateur.

• Bloqué en périphérie. Le blocage des bots d’un CDN peut renvoyer une erreur aux robots de l’IA même quand robots.txt les autorise ; Cloudflare a annoncé le 1er juillet 2025 qu’il bloquerait par défaut les robots de l’IA, sauf s’ils paient. Un vérificateur de robots.txt, comme notre vérificateur de robots IA gratuit, indiquera tout de même chaque bot comme autorisé, car le blocage a lieu sur le serveur.
• Vide tant que JavaScript ne s’exécute pas. Si votre texte n’apparaît qu’après l’exécution des scripts, beaucoup de bots voient une page blanche, ou une poignée de mots là où une personne en voit des milliers.

Une de plus pour Google : pour pouvoir figurer comme lien de référence dans AI Overviews ou AI Mode, une page doit être indexée et autorisée à afficher un extrait ; une règle nosnippet ou un max-snippet trop serré la retire donc aussi de la réponse de l’IA.

Vérifiez-le vous-même en cinq minutes

Récupérez une page clé en vous faisant passer pour chaque bot, et regardez le code de statut et les mots renvoyés :

curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot" https://yoursite.com/
curl -s -o /dev/null -w "%{http_code}\n" -A "ClaudeBot" https://yoursite.com/
curl -s -A "OAI-SearchBot" https://yoursite.com/ | sed 's/<[^>]*>//g' | wc -w

Un 403 ou un 503 signifie que quelque chose bloque ce bot. Un nombre de mots très inférieur à ce que vous voyez sur la page signifie que votre texte dépend de JavaScript. Levez le blocage au niveau du CDN, et servez votre contenu principal dans le HTML.

Non. llms.txt est un fichier markdown proposé qui liste vos pages clés pour les modèles de langage. Le guide de Google sur ses fonctionnalités d’IA générative, mis à jour le 10 juillet 2026, indique qu’en publier un n’aidera ni ne nuira à votre visibilité dans la recherche Google, puisque Search ne l’utilise pas, et aucun des moteurs que nous suivons n’a dit utiliser llms.txt pour le classement.

Notre constat, sans détour : nous avons récupéré /llms.txt sur les 300 domaines que les moteurs d’IA citaient le plus dans nos échantillons. 129 en publiaient un, et ces 129 sites ont été cités 6 343 fois. Une seule citation pointait vers un fichier, un llms-full.txt ; aucune vers un llms.txt. Sur les dix domaines les plus cités, huit n’avaient pas de fichier et deux ont bloqué notre vérification (l’étude sur llms.txt). Ahrefs est arrivé au même résultat par l’autre bout : 97 % des fichiers de son échantillon de mai 2026 n’ont reçu aucune requête.

Le publier ne fait pas de mal, et les agents qui lisent la documentation s’en servent. Si vous en publiez un malgré tout, rédigez-le avec le générateur llms.txt et vérifiez la version en ligne avec le validateur llms.txt.