OpenAI stuurt vier agents, en maar één bepaalt het zoeken in ChatGPT
Er gaat een stukje robots.txt rond dat GPTBot weert. Veel mensen plakten het erin en voelden dat ze de kwestie ChatGPT hadden geregeld. Ze regelden een kwestie. Alleen niet die.
OpenAI documenteert vier user agents, elk met een eigen taak. GPTBot crawlt inhoud die kan worden gebruikt om de basismodellen te trainen. OAI-SearchBot wordt gebruikt om sites te tonen in de zoekfuncties van ChatGPT, en de eigen pagina van OpenAI zegt dat sites die hem uitsluiten niet in zoekantwoorden van ChatGPT worden getoond, al kunnen ze nog verschijnen als navigatielinks. ChatGPT-User haalt een pagina op als iemand ChatGPT iets vraagt, en omdat een gebruiker dat startte, zegt OpenAI dat de regels van robots.txt mogelijk niet gelden. OAI-AdsBot bezoekt alleen pagina’s die als advertentie zijn ingediend.
OpenAI zegt duidelijk dat elke instelling los staat. Je kunt OAI-SearchBot toestaan en GPTBot weren, wat ja zegt tegen vindbaar zijn en nee tegen trainingsdata zijn. Dat is voor de meeste bedrijven een redelijke positie, en bijna geen robots.txt die we lazen, zegt het echt. Reken in beide richtingen op ongeveer een dag: OpenAI zegt dat het zo’n 24 uur duurt na een wijziging in robots.txt voordat zijn systemen bij zijn.
Anthropic splitst het in drie, en Perplexity negeert je als een persoon het vraagt
Anthropic draait er drie. ClaudeBot verzamelt webinhoud die in training kan belanden. Claude-SearchBot indexeert inhoud om zoekresultaten te verbeteren. Claude-User haalt een pagina op als iemand Claude een vraag stelt. De helppagina van Anthropic legt het gevolg van elk uit: zet Claude-SearchBot uit en je inhoud wordt niet meer voor zoeken geïndexeerd, zet Claude-User uit en Claude haalt je pagina niet meer op als antwoord op de vraag van een gebruiker.
Perplexity draait er twee. PerplexityBot bestaat om sites te tonen en te linken in de resultaten van Perplexity en wordt helemaal niet gebruikt om trainingsdata te verzamelen. Perplexity-User bezoekt een pagina als iemand een vraag stelt, en de documentatie van Perplexity zegt hardop wat anderen verzwijgen: omdat een gebruiker om de ophaalactie vroeg, negeert die ophaler robots.txt doorgaans.
Tel het op en de algemene regel om AI-bots te blokkeren komt op een vreemde plek uit. Van de negen agents hierboven zijn de meeste die mensen willen tegenhouden juist de agents die je link voor een koper zetten, en een ervan luistert sowieso niet naar robots.txt.
Google-Extended heeft niets met AI Overviews te maken
Dit is degene die mensen het meest kost. Google-Extended is een token in robots.txt, zonder eigen user-agentstring, dat bepaalt of gecrawlde inhoud toekomstige Gemini-modellen traint en Gemini-apps onderbouwt. De crawlerdocumentatie van Google zegt zonder omwegen dat het de opname van een site in Google Zoeken niet beïnvloedt en niet als rankingsignaal wordt gebruikt. Het blokkeren doet niets met AI Overviews.
AI Overviews en AI Mode zijn Zoeken. Google zegt het in zijn eigen richtlijnen voor site-eigenaren: AI is ingebouwd in Zoeken, en de robots.txt-regels voor Googlebot zijn de bediening. Dan komt de zin die mensen verrast. Om als ondersteunende link in AI Overviews of AI Mode in aanmerking te komen, moet een pagina geïndexeerd zijn en met een snippet getoond kunnen worden. Heb jij of iemand voor jou nosnippet, data-nosnippet of een krappe max-snippet ingesteld om scrapers buiten te houden, dan heb je jezelf uit het AI-antwoord gehaald, en niets in je analytics meldde dat.
Dezelfde gids van Google zegt dat je geen nieuwe machineleesbare bestanden of AI-tekstbestanden hoeft te maken om in deze functies te verschijnen. We zeggen al een tijdje dat je llms.txt niet als oplossing moet zien: geen van de engines die we volgen, documenteert het als rankingsignaal. Het is handig dat Google de algemene versie in eigen woorden zegt.
Je CDN heeft dit misschien al voor je beslist
Op 1 juli 2025 kondigde Cloudflare aan dat het de standaard veranderde in het blokkeren van AI-crawlers tenzij ze voor inhoud betalen, en introduceerde het een beheerde robots.txt die het namens jou serveert en bijwerkt als er nieuwe bots verschijnen. Elke nieuwe site die bij Cloudflare instapt, krijgt die keuze nu bij de inrichting voorgelegd.
Voor veel bedrijven is het eerlijke antwoord op wat mijn robots.txt over ChatGPT zegt dus: geen idee, mijn CDN schrijft hem. Een WAF-regel doet hetzelfde nog grondiger. Het verzoek bereikt je origin nooit, dus niets in je logs of je analytics legt een bezoek vast dat niet plaatsvond. Je pagina rankt nog, laadt nog en ziet er voor jou nog goed uit.
En een ophaalactie die aankomt, moet nog steeds met woorden terugkomen. Een pagina die in de client wordt gerenderd, geeft deze agents een 200 en een lege container, wat voor jou een werkende pagina lijkt en voor hen helemaal niets is.
Zes controles die het in een middag beslissen
Niets hiervan vraagt een tool. Het vraagt curl, je logs en een uur. Wij draaien het als audit van toegankelijkheid voor bots met de crawleranalyse van Cloudflare erachter, maar je kunt elke regel zelf doen.
- Haal je robots.txt op via het openbare internet, niet uit je repository, en zoek elk token op naam: OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot.
- Doe het voor elk subdomein. docs.example.com en www.example.com zijn aparte bestanden en aparte besluiten, en het subdomein voor documentatie is meestal het subdomein dat je geciteerd wilt zien.
- Vraag een pagina op die je geciteerd wilt zien met de gepubliceerde user-agentstring van elke agent, en lees wat terugkomt. Een 200 met een lege div is een fout, geen geslaagde controle.
- Zoek in je CDN en WAF naar een beheerde robots.txt of een botregel die niemand in het huidige team schreef.
- Controleer de head van je beste pagina’s op noindex, nosnippet, data-nosnippet en max-snippet. Elk daarvan kan een pagina ongemerkt uitsluiten van AI Overviews.
- Zoek met grep in je toegangslogs naar de agentnamen, en controleer daarna de bronadressen tegen de IP-bereiken die OpenAI, Perplexity en Anthropic publiceren. Een user-agentstring intypen kost niets. Het adresbereik is het deel dat verifieert.
Waar dit mis kan zitten
Alles hierboven is elke engine die zijn eigen crawlers beschrijft, en zowel de tokens als het gedrag verschuiven. De pagina van Anthropic draagt een datum van april 2026, de crawlerlijst van Google werd in juli 2026 voor het laatst bijgewerkt, en OpenAI voegt een agent toe zodra het een product uitbrengt dat pagina’s ophaalt. Lees de actuele documentatie voordat je een regel verandert, niet dit artikel.
robots.txt is een verzoek. Een bedrijf dat zegt dat zijn bot het respecteert, doet een beleidsuitspraak en heeft geen handhavingsmechanisme, en twee van de ophalers hier documenteren dat ze het bij verzoeken die een gebruiker start helemaal niet toepassen. Moet iets niet worden gelezen, dan was robots.txt nooit het gereedschap.
Een crawler toelaten zorgt er ook niet voor dat je wordt geciteerd. Toegang is de vloer, niet het antwoord. In de categorie die we bemonsterden, waren lijstjes 44% van wat ChatGPT citeerde voor een vraag naar de beste, dus leesbaar zijn en gekozen worden zijn twee verschillende problemen. Onze 44% is één meting op de steekproef die we namen, geen constante.
Toch is het een middag waard, omdat deze fout per definitie stil is. Nergens wordt een ophaalactie gerapporteerd die nooit plaatsvond.
