Wat is robots.txt?
robots.txt is een tekstbestand in de root van een website dat crawlers vertelt welke paden ze mogen ophalen, volgens het Robots Exclusion Protocol (RFC 9309). robots.txt is de oudste controle die een website over crawlers heeft, en in het AI-tijdperk draagt het meer beslissingen dan ooit: training, indexering voor zoeken en door gebruikers gestarte opvragingen hebben elk hun eigen bot, en een regel voor de ene zegt niets over de andere.
Hoe werkt robots.txt?
Het werkt als een set groepen: elke groep noemt een of meer user-agenttokens en somt Allow- en Disallow-paden op. De regels zijn als Robots Exclusion Protocol gestandaardiseerd in RFC 9309 (Koster, Illyes, Zeller en Sassman, september 2022), dat de details vastlegt die crawlers volgen (RFC 9309, geraadpleegd op 15 okt. 2026):
- Het bestand heet robots.txt, in kleine letters, staat op het hoogste niveau van de host en wordt geserveerd als UTF-8-platte tekst.
- Als regels botsen, wint de meest specifieke overeenkomst: die met de meeste octetten.
- Crawlers moeten minstens 500 kibibyte van het bestand verwerken en mogen een gecachte kopie niet langer dan 24 uur gebruiken, tenzij het bestand onbereikbaar is.
- Een 4xx-respons laat een crawler alles ophalen; een 5xx-respons betekent dat hij ervan uit moet gaan dat alles is geblokkeerd.
- De regels zijn geen vorm van toegangsautorisatie: het is een verzoek, en iedereen kan een pad zien dat in de lijst staat.
Hoe schrijf je robots.txt-regels voor AI-crawlers?
Noem elke bot bij zijn token en beslis elke functie apart. De meest gekozen houding is zichtbaar blijven in AI-zoeken en content buiten training houden: sta de zoek- en gebruikersagents toe en blokkeer de trainingscrawlers die je niet wilt.
Elke host heeft zijn eigen bestand, dus docs.example.com heeft eigen regels nodig; Anthropic vraagt sitebeheerders hun regels toe te voegen op elk subdomein dat ze willen dekken (Anthropic, 7 april 2026).
# Zichtbaar in AI-zoeken en bij gebruikersopvragingen
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Buiten modeltraining
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /Welke robots.txt-fouten verbergen je in AI-antwoorden?
De duurste zijn meestal per ongeluk:
- De zoekagents blokkeren (OAI-SearchBot, Claude-SearchBot, PerplexityBot) terwijl het de bedoeling was training te blokkeren.
- Een algemene regel onder User-agent: * die ook AI-zoekcrawlers vangt.
- Een CDN- of beveiligingsinstelling die AI-bots blokkeert voordat ze je robots.txt ooit lezen.
- Regels op www, maar niet op het docs- of helpsubdomein dat engines het liefst citeren.
- Snippetcontroles op belangrijke pagina's: Google zegt dat een pagina geschikt moet zijn om met een snippet te worden getoond om in AI Overviews of AI Mode te verschijnen (Google Search Central).
Wat beslist robots.txt in een echt voorbeeld?
Het beslist of je pagina's überhaupt kunnen meedingen naar bronvermeldingen. In het openbare Tesla-voorbeeld (4 okt. 2026) gaf Perplexity 375 bronvermeldingen en Claude 351 bij 25 koopvragen; tesla.com kreeg er daarvan 3 en 1.
Een site waarvan robots.txt de zoekagents van die engines blokkeert, geeft zelfs dat op. Ze toestaan levert op zichzelf geen bronvermeldingen op; het zet je pagina's in de race.
Hoe controleer je je robots.txt voor AI-crawlers?
Haal het live bestand op van internet, voor elke host, en zoek elk token bij naam. De gratis AI-crawlerchecker leest je live robots.txt en laat zien welke AI-crawlers het toestaat of blokkeert, en Crawlertoegang in Proofsource controleert het samen met de CDN-laag en de gerenderde tekst.
Veelgestelde vragen over robots.txt
Houdt robots.txt AI tegen bij het gebruiken van mijn content?
Alleen bij crawlers die het respecteren, en alleen vanaf het moment dat ze het lezen. Het is een verzoek, geen slot, en door gebruikers gestarte agents zoals Perplexity-User documenteren dat ze het meestal negeren.
Haalt het blokkeren van GPTBot me uit ChatGPT?
Nee. GPTBot is de trainingscrawler van OpenAI. Zoeken in ChatGPT is afhankelijk van OAI-SearchBot, en OpenAI zegt dat elke instelling los van de andere staat.
Hoe snel werken wijzigingen in robots.txt door?
RFC 9309 zegt dat crawlers niet langer dan 24 uur op een gecachte kopie mogen vertrouwen, en OpenAI zegt dat zijn zoeksystemen ongeveer 24 uur nodig hebben om een wijziging te verwerken.
Vervangt llms.txt robots.txt?
Nee. robots.txt legt regels vast voor crawlers. llms.txt is een voorgestelde leeslijst voor taalmodellen en heeft geen enkele invloed op toegang.
Gerelateerde termen
- GPTBot
GPTBot is de webcrawler van OpenAI die content verzamelt die gebruikt kan worden om de generatieve AI-basismodellen van OpenAI te trainen.
- OAI-SearchBot
OAI-SearchBot is de crawler van OpenAI die websites zichtbaar maakt in de zoekfuncties van ChatGPT; sites die hem uitsluiten, worden niet getoond in de zoekantwoorden van ChatGPT.
- ClaudeBot
ClaudeBot is de webcrawler van Anthropic die webcontent verzamelt die kan bijdragen aan het trainen van de Claude-modellen van Anthropic.
- llms.txt
llms.txt is een voorgesteld markdownbestand in de root van een website dat taalmodellen vertelt wat de site is en de pagina’s opsomt die het lezen het meest waard zijn.
Uitgewerkt voorbeeld: Tesla, openbare AI-antwoorden, 4 okt. 2026: de eerste scan van Tesla door Proofsource, met 25 koopvragen en 5 merkvragen, één antwoord per vraag op elk van vier engines. Een kleine steekproef van één merk, getoond als voorbeeld, niet als benchmark.
Zie waar AI je overslaat, en wat je moet verbeteren.
Zie welke koopvragen je merk noemen, wie in jouw plaats wordt genoemd en wat je moet verbeteren. 200 antwoorden. 25 Prompts/vraag. Top-AI-engines. 2 dagen. Gratis. Geen creditcard nodig.
Google AI OverviewsGoogle AI Mode
