Verbeter je eigen site zodat AI je leest en plaatst.

Elke engine stuurt zijn eigen bots, en elke bot kun je apart toestaan of blokkeren. De bots die bepalen of je vandaag in antwoorden kunt verschijnen, zijn de zoekbots en de bots die pagina's ophalen op verzoek van een gebruiker. Trainingscrawlers bepalen wat toekomstige modellen kunnen leren.

De bot die bijna iedereen blokkeert, is niet de bot die bepaalt of je verschijnt. OpenAI documenteert GPTBot als zijn trainingscrawler en OAI-SearchBot als de bot die sites toont in de zoekfunctie van ChatGPT; sites die OAI-SearchBot uitsluiten, verschijnen niet in de zoekantwoorden van ChatGPT. Anthropic scheidt ClaudeBot (training) van Claude-SearchBot en Claude-User, en Perplexity zegt dat PerplexityBot helemaal niet voor training wordt gebruikt. De crawlerdocumentatie van Google zegt dat Google-Extended geen invloed heeft op opname in Google Zoeken, dus het blokkeren ervan verandert niets aan AI Overviews (het volledige overzicht van crawlers).

Er zijn twee veelvoorkomende fouten, en geen van beide zie je als je je site in de browser bekijkt.

• Geblokkeerd aan de edge. De botbescherming van een CDN kan AI-crawlers een foutmelding geven, ook als robots.txt ze toestaat; Cloudflare kondigde op 1 juli 2025 aan dat het AI-crawlers die niet betalen standaard zou blokkeren. Een robots.txt-checker, zoals onze gratis AI-crawlerchecker, meldt elke bot dan nog steeds als toegestaan, omdat de blokkade op de server plaatsvindt.
• Leeg totdat JavaScript draait. Als je tekst pas verschijnt nadat scripts zijn uitgevoerd, zien veel bots een lege pagina, of een handvol woorden waar een mens er duizenden ziet.

Nog één voor Google: om als ondersteunende link in AI Overviews of AI Mode te kunnen verschijnen, moet een pagina geïndexeerd zijn en een snippet mogen tonen, dus een nosnippet-regel of een krappe max-snippet haalt haar ook uit het AI-antwoord.

Controleer het zelf in vijf minuten

Vraag een belangrijke pagina op als elke bot en kijk naar de statuscode en de woorden die terugkomen:

curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot" https://yoursite.com/
curl -s -o /dev/null -w "%{http_code}\n" -A "ClaudeBot" https://yoursite.com/
curl -s -A "OAI-SearchBot" https://yoursite.com/ | sed 's/<[^>]*>//g' | wc -w

Een 403 of 503 betekent dat iets die bot blokkeert. Een woordenaantal ver onder wat je op de pagina ziet, betekent dat je tekst afhankelijk is van JavaScript. Hef de blokkade op in de CDN en lever je hoofdcontent in de HTML.

Nee. llms.txt is een voorgesteld markdownbestand dat je belangrijkste pagina's voor taalmodellen opsomt. De gids van Google over zijn generatieve AI-functies, voor het laatst bijgewerkt op 10 juli 2026, zegt dat het publiceren ervan je zichtbaarheid in Google Zoeken niet schaadt en niet helpt, omdat Zoeken het niet gebruikt, en geen van de engines die we volgen heeft gezegd llms.txt te gebruiken om te rangschikken.

Wat we vonden, zonder franje: we haalden /llms.txt op bij de 300 domeinen die AI-engines in onze steekproeven het vaakst citeerden. 129 publiceerden er een, en die 129 sites werden 6.343 keer geciteerd. Eén bronvermelding verwees naar een bestand, een llms-full.txt; geen enkele verwees naar een llms.txt. Van de tien meest geciteerde domeinen hadden er acht geen bestand en blokkeerden er twee onze controle (het llms.txt-onderzoek). Ahrefs kwam vanaf de andere kant op hetzelfde uit: 97% van de bestanden in zijn steekproef van mei 2026 kreeg helemaal geen verzoeken.

Publiceren kan geen kwaad, en agents die documentatie lezen gebruiken het wel. Publiceer je er toch een, schrijf het dan met de llms.txt-generator en controleer de live versie met de llms.txt-validator.