Wat is ClaudeBot?
ClaudeBot is de webcrawler van Anthropic die webcontent verzamelt die kan bijdragen aan het trainen van de Claude-modellen van Anthropic. Anthropic gebruikt drie bots met elk een eigen taak: ClaudeBot voor training, Claude-SearchBot voor de zoekindex en Claude-User om een pagina op te halen als iemand Claude een vraag stelt. Elk wordt in robots.txt apart genoemd, dus een regel voor ClaudeBot zegt niets over de andere twee.
Wat is de user agent van ClaudeBot?
ClaudeBot maakt zich bekend met het producttoken ClaudeBot, en dat token moet een robots.txt-groep noemen. Het helpartikel van Anthropic noemt de drie bots (ClaudeBot, Claude-User en Claude-SearchBot), maar geeft geen volledige user-agentstring; match in je logs dus op het token in plaats van op een gekopieerde string (crawlerartikel van Anthropic, gelezen op 15 okt. 2026).
Een naam in een logregel is te vervalsen. Wil je bevestigen dat een verzoek echt van Anthropic kwam, vergelijk het bron-IP dan met de lijst die Anthropic publiceert op claude.com/crawling/bots.json; volgens Anthropic komt een crawler met een bron-IP op die lijst van Anthropic.
Sommige robots.txt-bestanden noemen nog anthropic-ai of Claude-Web, oudere tokens. Het huidige artikel van Anthropic noemt geen van beide, dus het is niet gedocumenteerd dat een regel met alleen die oudere tokens ClaudeBot dekt.
Wat verzamelt ClaudeBot, en waarom?
ClaudeBot verzamelt openbare webcontent die kan bijdragen aan de training van de generatieve AI-modellen van Anthropic, wat volgens Anthropic de bruikbaarheid en veiligheid van de modellen helpt. Blokkeer je hem, dan geef je aan dat de toekomstige content van je site buiten de trainingsdatasets van Anthropic moet blijven.
Anthropic beschrijft ook hoe zijn bots zich gedragen:
- Ze respecteren "niet crawlen"-instructies in robots.txt.
- Ze proberen niet om CAPTCHA’s of andere beschermingsmaatregelen heen te komen.
- Ze ondersteunen de niet-standaard Crawl-delay-regel, zodat je ClaudeBot kunt afremmen zonder hem te blokkeren.
- Een regel geldt voor één host, dus een site met subdomeinen heeft de regel nodig in de robots.txt van elk subdomein.
Hoe verschilt ClaudeBot van Claude-User en Claude-SearchBot?
ClaudeBot draait om training; Claude-SearchBot en Claude-User draaien om gevonden en gelezen worden als mensen Claude iets vragen. Anthropic waarschuwt dat het uitzetten van een van die twee de zichtbaarheid van je site in de zoekantwoorden van Claude kan verlagen.
| Bot | Taak | Als je hem blokkeert |
|---|---|---|
| ClaudeBot | Verzamelt webcontent die kan bijdragen aan modeltraining | Geeft aan dat je toekomstige content buiten training moet blijven |
| Claude-SearchBot | Leest het web om de kwaliteit en relevantie van de zoekresultaten van Claude te verbeteren | Stopt met indexeren voor zoeken, wat je zichtbaarheid en juistheid in de zoekantwoorden van Claude kan verlagen |
| Claude-User | Haalt een pagina op als iemand Claude een vraag stelt waarvoor die nodig is | Claude kan je pagina’s voor die vragen niet ophalen, wat je zichtbaarheid in door gebruikers gestuurde zoekopdrachten kan verlagen |
Hoe blokkeer of sta je ClaudeBot toe in robots.txt?
Voeg een groep voor ClaudeBot toe aan het robots.txt-bestand in de root van elke host. Het eigen voorbeeld van Anthropic blokkeert ClaudeBot voor de hele site met één Disallow: /-regel onder User-agent: ClaudeBot.
De gebruikelijke keuze is content buiten training houden en toch vindbaar blijven in de antwoorden van Claude: blokkeer ClaudeBot en sta de andere twee toe. Crawl-delay is de gedocumenteerde manier van Anthropic om ClaudeBot af te remmen in plaats van te blokkeren. Vertrouw niet op het blokkeren van de IP-adressen van Anthropic; volgens Anthropic werkt dat mogelijk niet betrouwbaar, omdat het zijn bots belemmert bij het lezen van je robots.txt. Controleer daarna het live bestand met de gratis AI-crawlercheck.
# Houd content buiten de training van Anthropic
User-agent: ClaudeBot
Disallow: /
# Blijf vindbaar in de antwoorden van Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Of, in plaats van ClaudeBot te blokkeren, rem hem af:
# User-agent: ClaudeBot
# Crawl-delay: 1Wat betekent dit voor bronvermeldingen in Claude?
Of Claude je als bron vermeldt, hangt af van of Claude-SearchBot en Claude-User je pagina’s bereiken; ClaudeBot is een aparte beslissing over training. Blokkeer je alle drie, dan geef je beide op.
De bronvermeldingen van Claude zijn zelfs voor een bekend merk dun gespreid. In het openbare Tesla-voorbeeld (4 okt 2026) noemde Claude Tesla in 11 van 25 antwoorden op koopvragen en gaf het 351 bronvermeldingen in die antwoorden, waarvan er maar één naar tesla.com ging. De meest vermelde site was en.wikipedia.org, 16 keer. Dat is de ruimte voor bronvermeldingen waar een regel voor de zoekcrawler je wel of niet toegang toe geeft, en je meet die door de vragen te stellen, niet door robots.txt te lezen. Zie hoe Claude de merken kiest die het noemt.
Veelgestelde vragen over ClaudeBot
Haalt het blokkeren van ClaudeBot mijn site uit Claude?
Niet volgens de beschrijving van Anthropic. ClaudeBot is de trainingscrawler. De zoekindex is Claude-SearchBot en het ophalen van pagina’s voor de vraag van een gebruiker is Claude-User, en volgens Anthropic kan juist het blokkeren van die twee je zichtbaarheid in de zoekantwoorden van Claude verlagen.
Respecteert ClaudeBot robots.txt?
Anthropic zegt dat zijn bots robots.txt-instructies respecteren, CAPTCHA’s niet omzeilen en Crawl-delay ondersteunen. Zet de regel in de robots.txt van elk subdomein dat je wilt dekken.
Moet ik ClaudeBot op IP-adres blokkeren?
Anthropic raadt af daarop te vertrouwen: het blokkeren van zijn IP-adressen werkt mogelijk niet goed of niet blijvend, en het verhindert dat de bots je robots.txt lezen. Gebruik robots.txt voor de regel, en de gepubliceerde IP-lijst van Anthropic alleen om te bevestigen dat een verzoek echt is.
Is ClaudeBot hetzelfde als anthropic-ai?
Nee. anthropic-ai en Claude-Web zijn oudere tokens die nog in sommige robots.txt-bestanden staan, en het huidige artikel van Anthropic noemt ze niet. Het noemt alleen ClaudeBot, Claude-SearchBot en Claude-User, dus schrijf je regels voor die drie.
Gerelateerde termen
- GPTBot
GPTBot is de webcrawler van OpenAI die content verzamelt die gebruikt kan worden om de generatieve AI-basismodellen van OpenAI te trainen.
- OAI-SearchBot
OAI-SearchBot is de crawler van OpenAI die websites zichtbaar maakt in de zoekfuncties van ChatGPT; sites die hem uitsluiten, worden niet getoond in de zoekantwoorden van ChatGPT.
- PerplexityBot
PerplexityBot is de crawler van Perplexity die webpagina’s indexeert, zodat ze in de zoekresultaten van Perplexity getoond en gelinkt kunnen worden.
Uitgewerkt voorbeeld: Tesla, openbare AI-antwoorden, 4 okt. 2026: de eerste scan van Tesla door Proofsource, met 25 koopvragen en 5 merkvragen, één antwoord per vraag op elk van vier engines. Een kleine steekproef van één merk, getoond als voorbeeld, niet als benchmark.
Zie waar AI je overslaat, en wat je moet verbeteren.
Zie welke koopvragen je merk noemen, wie in jouw plaats wordt genoemd en wat je moet verbeteren. 200 antwoorden. 25 Prompts/vraag. Top-AI-engines. 2 dagen. Gratis. Geen creditcard nodig.
Google AI OverviewsGoogle AI Mode
