Veldnotities4 min. lezen

Op 21 van de 32 sites die AI-crawlers weigerden, liet robots.txt ze gewoon toe

Een robots.txt-checker leest het bestand en stopt daar. De server, het CDN en de firewall bepalen of een crawler de pagina echt krijgt, en in onze steekproef weigerden die bijna drie keer zo vaak een crawler als robots.txt.

We controleerden 199 sites in robots.txt en op de server

Hoe controleer je welke AI-crawlers je site blokkeert? De meeste checkers, ook onze gratis tool, lezen robots.txt en stoppen daar. De standaard achter het bestand, RFC 9309, is duidelijk over de grenzen ervan: "Deze regels zijn geen vorm van toegangsautorisatie." Een regel vraagt een crawler om weg te blijven. Of een verzoek de pagina krijgt, beslissen je server, je CDN en je firewall.

Proofsource controleert de site van elk merk dat het volgt. We namen per site de laatste controle tussen 5 oktober en 20 november 2026: 199 sites, zonder onze eigen domeinen en testdomeinen. Elke controle leest robots.txt voor elke AI-crawler en vraagt daarna één keer per crawler de homepage op, met de gepubliceerde User-Agent van die crawler. Ze legt vast of de server de pagina leverde of antwoordde met 401, 403, 429 of een botcontrole.

Servers weigerden GPTBot op 32 sites, robots.txt blokkeerde hem op 12

De server weigerde een verzoek dat zich als GPTBot voorstelde op 32 van de 199 sites: 16,1% (11,6% tot 21,8%). robots.txt sloot GPTBot uit op 12 sites (6,0%).

Op 21 van die 32 sites liet robots.txt elke AI-crawler toe waarvoor we het lazen. Een controle van alleen het bestand had alle 21 verteld dat ze open stonden voor AI.

Eén keer ging het andersom. Een site sloot GPTBot uit in robots.txt, en de server gaf de pagina toch. Het bestand is in beide richtingen een verzoek.

De meeste blokkades op de server troffen trainingscrawlers en spaarden zoeken

Op 20 sites weigerde de server GPTBot maar leverde hij wel aan OAI-SearchBot en ChatGPT-User, en 15 daarvan weigerden ook ClaudeBot. Die splitsing lijkt een bewuste keuze. De crawlerdocumentatie van OpenAI behandelt de crawlers als aparte instellingen: GPTBot verzamelt trainingsdata, OAI-SearchBot zoekt pagina's om te tonen in ChatGPT search. Wie de eerste weigert, verdwijnt niet uit de tweede.

13 sites weigerden de crawlers die pagina's in antwoorden brengen

Voor bronvermeldingen tellen de zoek- en gebruikersagents. 13 sites (6,5%) weigerden minstens één van OAI-SearchBot, ChatGPT-User of PerplexityBot. robots.txt sloot ze maar op één van die 13 uit.

10 sites weigerden elke AI-crawler die we stuurden. 7 van die 10 antwoordden met een botcontrole van Cloudflare in plaats van een gewone foutpagina. Volgens OpenAI wordt een site die OAI-SearchBot uitsluit niet getoond in antwoorden van ChatGPT search, en OpenAI vraagt sites die wel willen verschijnen om naast de naam in robots.txt ook de gepubliceerde IP-reeksen toe te laten.

Sommige van deze blokkades heeft waarschijnlijk niemand met de hand ingesteld

Cloudflare voegde in september 2024 een optie toe om AI-crawlers met één klik te blokkeren en zegt dat meer dan een miljoen klanten die aanzetten. Sinds 1 juli 2025 vraagt het elk nieuw domein bij de aanmelding of AI-crawlers überhaupt welkom zijn. Een instelling die één keer in een dashboard is gekozen, of door wie het account ooit aanmaakte, zie je niet terug in robots.txt. Wordt een crawler geweigerd en weet niemand in je team nog dat dat zo besloten is, kijk daar dan eerst.

Controleer beide in tien minuten

  • Lees robots.txt eerst voor de antwoordcrawlers: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Beslis daarna apart over de trainingscrawlers, GPTBot en ClaudeBot.
  • Vraag je homepage op met curl en zet de User-Agent op de naam van elke crawler. Een 403, een 429 of een controlepagina betekent dat de server hem weigerde, wat robots.txt ook zegt.
  • Open de bot- en AI-crawlerinstellingen van je CDN en lees wat er per crawler staat. Controleer bij Cloudflare zowel de instellingen voor AI-crawlers als elke regel die AI-bots blokkeert.
  • Laat je firewall alleen geverifieerde bots door, zorg dan dat de gepubliceerde IP-reeksen van de AI-bedrijven op de toegestane lijst staan, en zoek daarna in je logs naar 403's voor die crawlers.

Hoe Proofsource het controleert

Elke sitecontrole van Proofsource leest robots.txt voor elke AI-crawler en vraagt je homepage op als elk van die crawlers. Laat robots.txt een crawler toe en weigert de server hem toch, dan meldt de eerste scan dat op een eigen regel, met de instelling die je moet aanpassen.

Waar dit fout kan zitten

Onze verzoeken kwamen van onze servers, niet van die van OpenAI, Anthropic of Perplexity. Een firewall die controleert waar een verzoek vandaan komt, kan het onze weigeren en de echte crawler toch bedienen. Dat geldt vooral voor de botcontroles. Zie een weigering als reden om je CDN-instellingen te openen, niet als bewijs dat ChatGPT je niet kan lezen.

Eén verzoek per crawler, alleen naar de homepage, op één moment. 5 van de weigeringen waren 429-limieten, en die kunnen voorbijgaan. Andere pagina's kunnen andere regels hebben.

199 sites van merken die Proofsource volgt, en dat is geen willekeurige steekproef van het web. Eerdere controles stuurden vijf crawlers en latere acht, dus de cijfers voor Claude-SearchBot, Claude-User en Perplexity-User gaan over 189 sites. We zagen de logs van de sites niet, dus we weten niet hoe echte bezoeken van crawlers werden beantwoord.

Waar de externe cijfers vandaan komen

  1. RFC 9309: Robots Exclusion Protocol · IETF
  2. Overview of OpenAI Crawlers · OpenAI
  3. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large · Cloudflare
  4. Gratis robots.txt-check voor AI-crawlers zoals GPTBot · Proofsource
Alle notities

Vragen

Blokkeert robots.txt AI-crawlers?

Het vraagt ze om weg te blijven, en de grote AI-bedrijven zeggen dat ze zich daaraan houden, maar het houdt geen verzoek tegen. In onze controle van 199 sites sloot één site GPTBot uit in robots.txt, en de server leverde de pagina toch.

Hoe weet ik of Cloudflare ChatGPT blokkeert?

Vraag je homepage op met de User-Agent op OAI-SearchBot en let op een 403 of een controlepagina. Lees daarna je Cloudflare-instellingen voor AI-crawlers. In onze steekproef deden 7 van de 10 sites die elke AI-crawler weigerden dat met een botcontrole van Cloudflare.

Verdwijn ik uit ChatGPT als ik GPTBot blokkeer?

Niet uit ChatGPT search. OpenAI documenteert GPTBot (training) en OAI-SearchBot (zoeken) als aparte instellingen. Op 20 van de 199 sites die we controleerden, weigerde de server GPTBot en leverde hij toch aan OAI-SearchBot.

Je eigen cijfers verslaan onze beste post.

De shortlist in jouw categorie wordt nu geschreven, of iemand deze pagina leest of niet. Een gratis proefperiode, 25 vragen op vier engines vandaag, laat zien of jouw naam erop staat.

100 antwoorden. 25 Prompts/vraag. Top-AI-engines. Gratis.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI