We controleerden 199 sites in robots.txt en op de server
Hoe controleer je welke AI-crawlers je site blokkeert? De meeste checkers, ook onze gratis tool, lezen robots.txt en stoppen daar. De standaard achter het bestand, RFC 9309, is duidelijk over de grenzen ervan: "Deze regels zijn geen vorm van toegangsautorisatie." Een regel vraagt een crawler om weg te blijven. Of een verzoek de pagina krijgt, beslissen je server, je CDN en je firewall.
Proofsource controleert de site van elk merk dat het volgt. We namen per site de laatste controle tussen 5 oktober en 20 november 2026: 199 sites, zonder onze eigen domeinen en testdomeinen. Elke controle leest robots.txt voor elke AI-crawler en vraagt daarna één keer per crawler de homepage op, met de gepubliceerde User-Agent van die crawler. Ze legt vast of de server de pagina leverde of antwoordde met 401, 403, 429 of een botcontrole.
Servers weigerden GPTBot op 32 sites, robots.txt blokkeerde hem op 12
De server weigerde een verzoek dat zich als GPTBot voorstelde op 32 van de 199 sites: 16,1% (11,6% tot 21,8%). robots.txt sloot GPTBot uit op 12 sites (6,0%).
Op 21 van die 32 sites liet robots.txt elke AI-crawler toe waarvoor we het lazen. Een controle van alleen het bestand had alle 21 verteld dat ze open stonden voor AI.
Eén keer ging het andersom. Een site sloot GPTBot uit in robots.txt, en de server gaf de pagina toch. Het bestand is in beide richtingen een verzoek.
De meeste blokkades op de server troffen trainingscrawlers en spaarden zoeken
Op 20 sites weigerde de server GPTBot maar leverde hij wel aan OAI-SearchBot en ChatGPT-User, en 15 daarvan weigerden ook ClaudeBot. Die splitsing lijkt een bewuste keuze. De crawlerdocumentatie van OpenAI behandelt de crawlers als aparte instellingen: GPTBot verzamelt trainingsdata, OAI-SearchBot zoekt pagina's om te tonen in ChatGPT search. Wie de eerste weigert, verdwijnt niet uit de tweede.
13 sites weigerden de crawlers die pagina's in antwoorden brengen
Voor bronvermeldingen tellen de zoek- en gebruikersagents. 13 sites (6,5%) weigerden minstens één van OAI-SearchBot, ChatGPT-User of PerplexityBot. robots.txt sloot ze maar op één van die 13 uit.
10 sites weigerden elke AI-crawler die we stuurden. 7 van die 10 antwoordden met een botcontrole van Cloudflare in plaats van een gewone foutpagina. Volgens OpenAI wordt een site die OAI-SearchBot uitsluit niet getoond in antwoorden van ChatGPT search, en OpenAI vraagt sites die wel willen verschijnen om naast de naam in robots.txt ook de gepubliceerde IP-reeksen toe te laten.
Sommige van deze blokkades heeft waarschijnlijk niemand met de hand ingesteld
Cloudflare voegde in september 2024 een optie toe om AI-crawlers met één klik te blokkeren en zegt dat meer dan een miljoen klanten die aanzetten. Sinds 1 juli 2025 vraagt het elk nieuw domein bij de aanmelding of AI-crawlers überhaupt welkom zijn. Een instelling die één keer in een dashboard is gekozen, of door wie het account ooit aanmaakte, zie je niet terug in robots.txt. Wordt een crawler geweigerd en weet niemand in je team nog dat dat zo besloten is, kijk daar dan eerst.
Controleer beide in tien minuten
- Lees robots.txt eerst voor de antwoordcrawlers: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Beslis daarna apart over de trainingscrawlers, GPTBot en ClaudeBot.
- Vraag je homepage op met curl en zet de User-Agent op de naam van elke crawler. Een 403, een 429 of een controlepagina betekent dat de server hem weigerde, wat robots.txt ook zegt.
- Open de bot- en AI-crawlerinstellingen van je CDN en lees wat er per crawler staat. Controleer bij Cloudflare zowel de instellingen voor AI-crawlers als elke regel die AI-bots blokkeert.
- Laat je firewall alleen geverifieerde bots door, zorg dan dat de gepubliceerde IP-reeksen van de AI-bedrijven op de toegestane lijst staan, en zoek daarna in je logs naar 403's voor die crawlers.
Hoe Proofsource het controleert
Elke sitecontrole van Proofsource leest robots.txt voor elke AI-crawler en vraagt je homepage op als elk van die crawlers. Laat robots.txt een crawler toe en weigert de server hem toch, dan meldt de eerste scan dat op een eigen regel, met de instelling die je moet aanpassen.
Waar dit fout kan zitten
Onze verzoeken kwamen van onze servers, niet van die van OpenAI, Anthropic of Perplexity. Een firewall die controleert waar een verzoek vandaan komt, kan het onze weigeren en de echte crawler toch bedienen. Dat geldt vooral voor de botcontroles. Zie een weigering als reden om je CDN-instellingen te openen, niet als bewijs dat ChatGPT je niet kan lezen.
Eén verzoek per crawler, alleen naar de homepage, op één moment. 5 van de weigeringen waren 429-limieten, en die kunnen voorbijgaan. Andere pagina's kunnen andere regels hebben.
199 sites van merken die Proofsource volgt, en dat is geen willekeurige steekproef van het web. Eerdere controles stuurden vijf crawlers en latere acht, dus de cijfers voor Claude-SearchBot, Claude-User en Perplexity-User gaan over 189 sites. We zagen de logs van de sites niet, dus we weten niet hoe echte bezoeken van crawlers werden beantwoord.