Controleer of AI-crawlers je site kunnen bereiken en lezen wat erop staat.
Crawler Access in Proofsource controleert de twee dingen die bepalen of AI van je site kan leren: of GPTBot, ClaudeBot, PerplexityBot en de andere AI-crawlers worden toegelaten en ook echt worden bediend, en of de pagina die ze ontvangen jouw tekst bevat of een lege JavaScript-schil.
| Crawler | robots.txt | Antwoord van de server |
|---|---|---|
| GPTBot (training van OpenAI) | Toegestaan | Geweigerd (403) |
| OAI-SearchBot (ChatGPT-zoeken) | Toegestaan | Geserveerd (200) |
| ChatGPT-User (browsen in ChatGPT) | Toegestaan | Geserveerd (200) |
| ClaudeBot (Anthropic) | Toegestaan | Geweigerd (403) |
| PerplexityBot (Perplexity) | Toegestaan | Geserveerd (200) |
Een uitkomst voor elke AI-crawler in je robots.txt.
Proofsource leest je robots.txt en geeft een oordeel voor tien AI-crawlers. Weten welke crawler wat doet is belangrijk: OAI-SearchBot en PerplexityBot halen pagina’s op voor live antwoorden, terwijl GPTBot en Google-Extended over trainingsdata gaan. Zo kun je training blokkeren zonder uit AI-zoekresultaten te verdwijnen.
- GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot en Bytespider
- Toegestaan of geweigerd, en onbepaald als het bestand niet te lezen is, nooit een gok
- Google-Extended is een robots.txt-token, geen aparte crawler, en wordt ook zo gecontroleerd
| Token | Gebruikt voor | Oordeel |
|---|---|---|
| GPTBot | Modeltraining van OpenAI | Geblokkeerd |
| OAI-SearchBot | Zoekresultaten van ChatGPT | Toegestaan |
| ClaudeBot | Crawlen door Anthropic | Toegestaan |
| PerplexityBot | Perplexity-antwoorden | Toegestaan |
| Google-Extended | Training van Gemini en Vertex AI | Geblokkeerd |
robots.txt is een verzoek. De server bepaalt wie erin komt.
Een site kan GPTBot in robots.txt toestaan en hem toch een 403 geven vanuit de botfirewall van een CDN. Proofsource vraagt je homepage op als GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot en PerplexityBot en legt vast wat je server echt teruggaf. Een robots.txt-checker alleen zou elk van hen als toegestaan melden.
- Geserveerd, geweigerd of onduidelijk, per crawler
- De statuscode die elke crawler kreeg
- Vangt blokkades door CDN en firewall af die robots.txt-checks missen
GET / als GPTBot → 403 Your request was blocked.
De oorzaak was een botinstelling in het CDN, niet robots.txt. Een robots.txt-checker alleen had elke crawler als toegestaan gemeld.
Zie hoeveel van je pagina een bot echt kan lezen.
Veel AI-crawlers lezen de ruwe HTML en voeren geen JavaScript uit. Proofsource vergelijkt de woorden die een browser rendert met de woorden in de ruwe HTML. Een client-side gerenderde pagina kan in een browser duizenden woorden tonen en aan een bot een paar dozijn. Als je content pas verschijnt nadat JavaScript draait, zien de meeste AI-crawlers die nooit.
- Gerenderde woorden tegenover woorden in ruwe HTML, per pagina
- Markeert pagina's zonder tekst, zonder H1 of zonder crawlbare links
- Controleer opnieuw nadat je server-side rendering of prerendering hebt doorgevoerd
| Controleren | Resultaat |
|---|---|
| Bodytekst in de HTML | Ontbreekt |
| H1 in de HTML | Ontbreekt |
| Links die een crawler kan volgen | Niets gevonden |
Als AI je niet kan lezen, kan het je niet aanbevelen.
Stille blokkades vinden
Botinstellingen van een CDN kunnen AI-crawlers wegsturen zonder dat iemand in je team het merkt. De servercheck laat het zien.
Maak je tekst zichtbaar
Een pagina die alleen in JavaScript rendert, is voor de meeste AI-crawlers bijna leeg. De renderingcheck meet hoe leeg.
Training blokkeren, zoeken behouden
Een uitkomst per crawler laat precies zien welke AI-systemen je binnenlaat, zodat het blokkeren van training een keuze is, geen ongeluk.
Vragen die kopers stellen
Hoe controleer ik of GPTBot toegang heeft tot mijn website?
Controleer twee dingen. Eerst robots.txt: die mag GPTBot niet uitsluiten. Daarna de server: vraag een pagina op met de user agent van GPTBot en controleer dat je een 200 krijgt, geen 403 van een CDN of firewall. Proofsource voert beide checks uit en controleert ook of de pagina leesbare tekst bevat.
Wat is het verschil tussen GPTBot en OAI-SearchBot?
GPTBot verzamelt content die kan worden gebruikt om modellen van OpenAI te trainen. OAI-SearchBot haalt pagina's op voor de zoekresultaten van ChatGPT, en ChatGPT-User haalt een pagina op wanneer het gesprek van een gebruiker dat nodig heeft. GPTBot blokkeren haalt je niet uit ChatGPT-zoeken, maar OAI-SearchBot blokkeren wel.
Wat is Google-Extended?
Google-Extended is een robots.txt-token, geen aparte crawler. Als je het blokkeert, vertel je Google je content niet te gebruiken voor de training van Gemini- en Vertex AI-modellen. Het heeft geen invloed op Google Zoeken.
Kunnen AI-crawlers JavaScript-websites lezen?
Veel kunnen het niet. Verschillende AI-crawlers lezen alleen de ruwe HTML die een server teruggeeft en voeren geen JavaScript uit, dus een client-side gerenderde pagina kan er voor hen bijna leeg uitzien. Server-side rendering of prerendering zet de tekst in de HTML, waar elke crawler hem kan lezen.
Waarom zou mijn site AI-crawlers blokkeren zonder dat ik het weet?
CDN- en beveiligingsaanbieders hebben instellingen om bots te blokkeren, en sommige blokkeren AI-trainingscrawlers standaard of met één schakelaar. De blokkade gebeurt op de server, dus robots.txt zegt nog steeds dat de crawler toegang heeft. Alleen een verzoek dat zich als de crawler voordoet, laat het zien.
Kan ik Proofsource gratis uitproberen?
Ja. 200 antwoorden. 25 Prompts/vraag. Top-AI-engines. 2 dagen. Gratis. 25 koopvragen op ChatGPT, Perplexity, Claude en Google AI Overviews, vandaag en morgen. Geen creditcard. Na de tweede scan pauzeert het scannen en blijven je antwoorden in je account staan.
Wat kost Proofsource?
Eén prijskaart voor iedereen: abonnementen vanaf US$ 9 per maand (5 vragen op ChatGPT, elke week). Elk merk betaalt een prijs voor elke dag (US$ 28 per merk per maand) of elke week (US$ 7), plus elke vraag op elke engine die je kiest. Onbeperkt teamleden in elk abonnement. Geen extra kosten bij overschrijding.
Meer van het platform
Ask Proof
Een assistent die vragen over je AI-zichtbaarheid beantwoordt met je eigen data en de queries achter elk getal laat zien.Ontdek Ask Proof
AI-zichtbaarheid
Vermeldingspercentage, share of voice en gemiddelde positie op elke AI-engine, met een 95%-Wilson-interval bij elk getal.Ontdek AI-zichtbaarheid
Prompts
De koopvragen die je volgt, gegroepeerd per onderwerp, gemarkeerd als met of zonder merknaam, gerangschikt op zoekvraag en met de zoekopdrachten die elke engine uitvoert.Ontdek Prompts
Zorg dat AI je kan lezen.
Zie of AI je merk noemt, wie het in jouw plaats noemt en wat je moet verbeteren. 200 antwoorden. 25 Prompts/vraag. Top-AI-engines. 2 dagen. Gratis. Geen creditcard · geen salesgesprek.
Google AI OverviewsGoogle AI Mode
