Nous avons vérifié 199 sites dans le robots.txt et au serveur
Comment savoir quels robots d’IA mon site bloque ? La plupart des vérificateurs, le nôtre compris, lisent le robots.txt et s’arrêtent là. La norme qui encadre ce fichier, la RFC 9309, est claire sur ses limites : « Ces règles ne constituent pas une forme d’autorisation d’accès. » Une règle demande à un robot de rester dehors. C’est votre serveur, votre CDN et votre pare-feu qui décident si une requête obtient la page.
Proofsource audite le site de chaque marque qu’il suit. Nous avons pris le dernier audit de chaque site entre le 5 octobre et le 20 novembre 2026 : 199 sites, sans nos propres domaines ni les domaines de test. Chaque audit lit le robots.txt pour chaque robot d’IA, puis demande la page d’accueil une fois par robot, avec le User-Agent publié par ce robot. Il note si le serveur a servi la page ou a répondu 401, 403, 429 ou par un test anti-robot.
Les serveurs ont refusé GPTBot sur 32 sites, le robots.txt l’a bloqué sur 12
Le serveur a refusé une requête se présentant comme GPTBot sur 32 des 199 sites : 16,1 % (de 11,6 % à 21,8 %). Le robots.txt interdisait GPTBot sur 12 (6,0 %).
Sur 21 de ces 32 sites, le robots.txt autorisait tous les robots d’IA pour lesquels nous l’avons lu. Une vérification du seul fichier aurait dit à ces 21 sites qu’ils étaient ouverts à l’IA.
L’inverse s’est produit une fois. Un site interdisait GPTBot dans son robots.txt, et son serveur a quand même servi la page. Le fichier reste une demande, dans les deux sens.
La plupart des blocages serveur visaient les robots d’entraînement et épargnaient la recherche
Sur 20 sites, le serveur a refusé GPTBot mais servi OAI-SearchBot et ChatGPT-User, et 15 d’entre eux refusaient aussi ClaudeBot. Ce partage ressemble à un choix. La documentation d’OpenAI sur ses robots les traite comme des réglages séparés : GPTBot collecte des données d’entraînement, OAI-SearchBot trouve les pages à afficher dans la recherche de ChatGPT. Refuser le premier ne vous retire pas du second.
13 sites refusaient les robots qui font entrer les pages dans les réponses
Pour être cité, les robots qui comptent sont les agents de recherche et les agents utilisateurs. 13 sites (6,5 %) ont refusé au moins un robot parmi OAI-SearchBot, ChatGPT-User et PerplexityBot. Le robots.txt ne les interdisait que sur un seul de ces 13.
10 sites ont refusé tous les robots d’IA que nous avons envoyés. 7 de ces 10 ont répondu par un test anti-robot de Cloudflare plutôt que par une simple page d’erreur. OpenAI indique qu’un site qui exclut OAI-SearchBot n’apparaîtra pas dans les réponses de la recherche de ChatGPT, et demande aux sites qui veulent y figurer d’autoriser ses plages d’adresses IP publiées en plus de son nom dans le robots.txt.
Certains de ces blocages n’ont sans doute jamais été écrits à la main
Cloudflare a ajouté en septembre 2024 une option pour bloquer les robots d’IA en un clic et indique que plus d’un million de clients l’ont activée. Depuis le 1er juillet 2025, il demande à chaque nouveau domaine, à l’inscription, s’il veut autoriser les robots d’IA. Un réglage choisi une fois dans un tableau de bord, ou par la personne qui a créé le compte, n’apparaît pas dans le robots.txt. Si un robot est refusé et que personne dans votre équipe ne se souvient de l’avoir décidé, commencez par regarder là.
Vérifiez les deux en dix minutes
- Lisez d’abord le robots.txt pour les robots de réponse : OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Décidez ensuite, séparément, pour les robots d’entraînement, GPTBot et ClaudeBot.
- Demandez votre page d’accueil avec curl, en mettant le nom de chaque robot comme User-Agent. Un 403, un 429 ou une page de test anti-robot signifie que le serveur l’a refusé, quoi que dise le robots.txt.
- Ouvrez les réglages de votre CDN pour les robots et les robots d’IA, et lisez ce qui est appliqué à chacun. Sur Cloudflare, vérifiez à la fois les contrôles des robots d’IA et toute règle qui bloque les robots d’IA.
- Si votre pare-feu ne laisse passer que les robots vérifiés, assurez-vous que les plages d’adresses IP publiées par les entreprises d’IA figurent sur sa liste d’autorisation, puis cherchez dans vos logs les 403 renvoyés à ces robots.
Comment Proofsource le vérifie
Chaque audit de site Proofsource lit le robots.txt pour chaque robot d’IA et demande votre page d’accueil en se présentant comme chacun d’eux. Quand le robots.txt autorise un robot et que le serveur le refuse, le premier scan le signale sur une ligne à part, avec le réglage à modifier.
Là où nous pourrions nous tromper
Nos requêtes venaient de nos serveurs, pas de ceux d’OpenAI, d’Anthropic ou de Perplexity. Un pare-feu qui vérifie l’origine d’une requête peut refuser la nôtre et servir quand même le vrai robot. C’est surtout vrai pour les tests anti-robot. Voyez un refus comme une raison d’ouvrir les réglages de votre CDN, pas comme la preuve que ChatGPT ne peut pas vous lire.
Une requête par robot, sur la page d’accueil seulement, à un instant donné. 5 des refus étaient des limites de débit 429, qui peuvent être passagères. D’autres pages peuvent avoir d’autres règles.
199 sites de marques suivies dans Proofsource, ce qui n’est pas un échantillon aléatoire du web. Les premiers audits envoyaient cinq robots et les suivants huit, donc les chiffres pour Claude-SearchBot, Claude-User et Perplexity-User portent sur 189 sites. Nous n’avons pas vu les logs des sites, donc nous ne pouvons pas dire comment les visites des vrais robots ont été traitées.