Vérifiez que les robots d’indexation IA peuvent atteindre votre site et lire ce qu’il contient.
L’Accès des robots dans Proofsource vérifie les deux choses qui décident si l’IA peut apprendre de votre site : si GPTBot, ClaudeBot, PerplexityBot et les autres robots d’indexation de l’IA sont autorisés et réellement servis, et si la page qu’ils reçoivent contient vos mots ou une coquille JavaScript vide.
| Robot d’indexation | robots.txt | Réponse du serveur |
|---|---|---|
| GPTBot (entraînement OpenAI) | Autorisé | Refusé (403) |
| OAI-SearchBot (recherche ChatGPT) | Autorisé | Servie (200) |
| ChatGPT-User (navigation de ChatGPT) | Autorisé | Servie (200) |
| ClaudeBot (Anthropic) | Autorisé | Refusé (403) |
| PerplexityBot (Perplexity) | Autorisé | Servie (200) |
Un verdict pour chaque robot IA de votre robots.txt.
Proofsource lit votre robots.txt et rend un verdict pour dix robots d’IA. Savoir quel robot fait quoi compte : OAI-SearchBot et PerplexityBot récupèrent des pages pour les réponses en direct, tandis que GPTBot et Google-Extended régissent les données d’entraînement. Vous pouvez donc bloquer l’entraînement sans disparaître de la recherche IA.
- GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot et Bytespider
- Autorisé ou bloqué, et indéterminé quand le fichier est illisible, jamais une supposition
- Google-Extended est un jeton robots.txt, pas un robot à part, et il est vérifié comme tel
| Jeton | Utilisé pour | Verdict |
|---|---|---|
| GPTBot | Entraînement des modèles OpenAI | Interdit |
| OAI-SearchBot | Résultats de recherche de ChatGPT | Autorisé |
| ClaudeBot | Exploration par Anthropic | Autorisé |
| PerplexityBot | Réponses de Perplexity | Autorisé |
| Google-Extended | Entraînement de Gemini et Vertex AI | Interdit |
Le robots.txt est une demande. C’est le serveur qui décide qui entre.
Un site peut autoriser GPTBot dans robots.txt et lui répondre quand même par un 403 via le pare-feu anti-bots d’un CDN. Proofsource demande votre page d’accueil en tant que GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot et PerplexityBot et enregistre ce que votre serveur a réellement renvoyé. Un vérificateur robots.txt seul les déclarerait tous autorisés.
- Servie, refusée ou incertaine, par robot
- Le code de statut reçu par chaque robot
- Détecte les blocages du CDN et du pare-feu que les vérifications de robots.txt ne voient pas
GET / en tant que GPTBot → 403 Your request was blocked.
La cause était un réglage anti-bot du CDN, pas le robots.txt. Un simple vérificateur de robots.txt aurait déclaré tous les robots autorisés.
Voyez quelle part de votre page un bot peut réellement lire.
De nombreux robots d’IA lisent le HTML brut et n’exécutent pas JavaScript. Proofsource compare les mots qu’un navigateur affiche à ceux du HTML brut. Une page rendue côté client peut afficher des milliers de mots dans un navigateur et quelques dizaines à un robot. Si votre contenu n’apparaît qu’après l’exécution de JavaScript, la plupart des robots d’IA ne le voient jamais.
- Mots rendus face aux mots du HTML brut, par page
- Signale les pages sans texte, sans H1 ou sans liens explorables
- Revérifiez après avoir mis en place le rendu côté serveur ou le prérendu
| Vérifier | Résultat |
|---|---|
| Texte du corps dans le HTML | Manquant |
| H1 dans le HTML | Manquant |
| Des liens qu’un robot peut suivre | Aucun résultat |
Si l’IA ne peut pas vous lire, elle ne peut pas vous recommander.
Repérer les blocages silencieux
Les réglages de bots du CDN peuvent refouler les robots d’indexation IA sans que personne dans votre équipe ne s’en aperçoive. La vérification côté serveur le montre.
Rendez vos mots visibles
Une page rendue uniquement en JavaScript est quasi vide pour la plupart des robots IA. Le contrôle du rendu mesure à quel point.
Bloquer l’entraînement, garder la recherche
Un verdict par robot montre exactement quels systèmes IA vous laissez entrer : bloquer l’entraînement devient un choix, pas un accident.
Les questions que posent les acheteurs
Comment vérifier si GPTBot peut accéder à mon site web ?
Vérifiez deux choses. D’abord robots.txt : il ne doit pas interdire GPTBot. Ensuite le serveur : demandez une page avec le user agent de GPTBot et vérifiez que vous obtenez un 200, pas un 403 d’un CDN ou d’un pare-feu. Proofsource effectue les deux vérifications et confirme aussi que la page contient du texte lisible.
Quelle est la différence entre GPTBot et OAI-SearchBot ?
GPTBot collecte du contenu susceptible de servir à entraîner les modèles d’OpenAI. OAI-SearchBot récupère des pages pour les résultats de recherche de ChatGPT, et ChatGPT-User récupère une page quand la conversation d’un utilisateur en a besoin. Bloquer GPTBot ne vous retire pas de la recherche ChatGPT, mais bloquer OAI-SearchBot, si.
Qu’est-ce que Google-Extended ?
Google-Extended est un jeton robots.txt, pas un robot à part. Le bloquer indique à Google de ne pas utiliser votre contenu pour l’entraînement des modèles Gemini et Vertex AI. Cela n’affecte pas la recherche Google.
Les robots d’indexation IA savent-ils lire les sites en JavaScript ?
Beaucoup ne le peuvent pas. Plusieurs robots d’IA ne lisent que le HTML brut renvoyé par le serveur et n’exécutent pas JavaScript : une page rendue côté client peut donc leur sembler presque vide. Le rendu côté serveur ou le prérendu place le texte dans le HTML, là où tous les robots peuvent le lire.
Pourquoi mon site bloquerait-il les robots d’indexation IA à mon insu ?
Les fournisseurs de CDN et de sécurité proposent des réglages de blocage des bots, et certains bloquent les robots d’entraînement d’IA par défaut ou d’un simple interrupteur. Le blocage se fait au niveau du serveur, donc robots.txt indique toujours que le robot est autorisé. Seule une requête faite en tant que robot le révèle.
Puis-je essayer Proofsource gratuitement ?
Oui. 200 réponses. 25 Prompts/question. Les meilleurs moteurs d’IA. 2 jours. Gratuit. 25 questions d’achat sur ChatGPT, Perplexity, Claude et Google AI Overviews, aujourd’hui et demain. Sans carte bancaire. Après la seconde analyse, les analyses s’arrêtent et vos réponses restent dans votre compte.
Combien coûte Proofsource ?
Une seule grille tarifaire pour tous : les offres commencent à 9 $US par mois (5 questions sur ChatGPT, chaque semaine). Chaque marque paie des frais pour chaque jour (28 $US par marque et par mois) ou chaque semaine (7 $US), plus chaque question sur chaque moteur choisi. Membres d’équipe illimités dans chaque offre. Aucun frais de dépassement.
Le reste de la plateforme
Ask Proof
Un assistant qui répond aux questions sur votre visibilité IA à partir de vos propres données, et montre les requêtes derrière chaque chiffre.Découvrir Ask Proof
Visibilité IA
Taux de mention, part de voix et position moyenne sur chaque moteur d’IA, avec un intervalle de Wilson à 95 % sur chaque chiffre.Découvrir Visibilité IA
Prompts
Les questions d’achat que vous suivez, regroupées par sujet, marquées avec ou sans marque, classées par demande de recherche, avec les recherches lancées par chaque moteur.Découvrir Prompts
Assurez-vous que l’IA peut vous lire.
Voyez si l’IA nomme votre marque, qui elle nomme à votre place et quoi corriger. 200 réponses. 25 Prompts/question. Les meilleurs moteurs d’IA. 2 jours. Gratuit. Sans carte · sans appel commercial.
Google AI OverviewsGoogle AI Mode
