robots.txt-checker voor AI-crawlers en Googlebot
Een gratis robots.txt-checker. Plak je robots.txt en we lezen hem voor 16 crawlers, de AI-bots van OpenAI, Anthropic en Perplexity plus Googlebot en Bingbot, en tonen of elk is toegestaan, geblokkeerd of niet genoemd, met de regel die de doorslag geeft.
Zestien crawlers, AI en zoekmachines, en waar elk ervan voor is.
De resultaten verschijnen hier. Er wordt niets opgeslagen en er is geen AI-model bij betrokken: het is gewoon het lezen van robots.txt.
GPTBot · OpenAI · Training
Verzamelt pagina’s om OpenAI-modellen te trainen.
OAI-SearchBot · OpenAI · Zoeken
Indexeert pagina's zodat ChatGPT search ze als bron kan vermelden.
ChatGPT-User · OpenAI · Ophalen door gebruiker
Opent een pagina als een ChatGPT-gebruiker daarom vraagt.
ClaudeBot · Anthropic · Training
Verzamelt pagina’s om Claude-modellen te trainen.
Claude-SearchBot · Anthropic · Zoeken
Indexeert pagina's zodat Claude ze als bron kan vermelden in zoekantwoorden.
Claude-User · Anthropic · Ophalen door gebruiker
Opent een pagina als een Claude-gebruiker daarom vraagt.
anthropic-ai · Anthropic · Training
Een ouder token van Anthropic dat veel robots.txt-bestanden nog noemen.
PerplexityBot · Perplexity · Zoeken
Indexeert pagina's zodat Perplexity ze als bron kan vermelden in antwoorden.
Perplexity-User · Perplexity · Ophalen door gebruiker
Opent een pagina als een Perplexity-gebruiker daarom vraagt.
Google-Extended · Google · Training
Bepaalt of Gemini mag trainen op pagina’s die Googlebot crawlt. Zoeken blijft onaangetast.
Googlebot · Google · Zoeken
Google Zoeken, de bron waarop AI Overviews en AI Mode steunen.
Bingbot · Microsoft · Zoeken
Bing Search, de index waar de antwoorden van Copilot uit putten.
Applebot-Extended · Apple · Training
Bepaalt of Apple zijn modellen mag trainen op pagina’s die Applebot crawlt.
CCBot · Common Crawl · Training
Bouwt de open Common Crawl-dataset waarop veel modellen worden getraind.
Meta-ExternalAgent · Meta · Training
Verzamelt pagina’s om Meta AI-modellen te trainen.
Bytespider · ByteDance · Training
Verzamelt pagina’s om modellen van ByteDance te trainen.
De regels volgen RFC 9309: een crawler volgt de groepen die hem bij naam noemen, anders de *-groep; de langste overeenkomende regel wint, en bij een gelijkspel wint Allow. Het oordeel geldt voor de homepage. Trainingscrawlers voeden toekomstige modellen; zoekcrawlers bepalen of een AI-antwoord je vandaag als bron kan vermelden; gebruikersverzoeken gebeuren als iemand een assistent vraagt je pagina te openen.
robots.txt is maar de helft van toegang. Een botinstelling in een CDN kan nog steeds een crawler weigeren die robots.txt toestaat, en deze controle ziet dat niet; Crawler access in Proofsource vraagt je pagina’s op als elke crawler om dat te achterhalen. Lees waarom GPTBot blokkeren je niet uit ChatGPT haalt, controleer je bestand met de llms.txt-validator of begin met de gids voor AI-zichtbaarheid.
Wat de antwoorden betekenen.
Moet ik trainingscrawlers blokkeren?
Dat is een zakelijke afweging. Als je GPTBot of ClaudeBot blokkeert, blijven je pagina's buiten toekomstige trainingssets, maar ChatGPT en Claude kunnen je dan nog steeds via hun zoekcrawlers als bron vermelden. Als je OAI-SearchBot, Claude-SearchBot of PerplexityBot blokkeert, verdwijn je wél uit die antwoorden.
Waarom zegt een crawler “niet genoemd”?
Je robots.txt heeft er geen groep voor, dus volgt hij de *-groep. Is er ook geen *-groep, dan beperkt niets hem.
Houdt robots.txt elke bot tegen?
Nee. Het is een verzoek waarvan de grote AI-bedrijven zeggen dat ze het respecteren. Het blokkeert geen crawler die het negeert; dat doet een firewallregel.
Crawlbaar zijn is stap één.
Proofsource laat zien of ChatGPT, Perplexity, Claude en Google je echt noemen, welke concurrenten ze in jouw plaats noemen en wat je moet verbeteren.