Wat is Claude-SearchBot?
Claude-SearchBot is de crawler van Anthropic die het web leest om de kwaliteit en relevantie van de zoekresultaten van Claude te verbeteren. Claude-SearchBot is de crawler achter het zoeken van Claude: hij leest het web vooraf, zodat Claude goede resultaten heeft om uit te putten. Hem blokkeren is een beslissing over zoeken, niet over training.
Wat doet Claude-SearchBot?
Anthropic zegt dat Claude-SearchBot het web doorloopt om de kwaliteit van zoekresultaten voor gebruikers te verbeteren, en online content analyseert om de relevantie en nauwkeurigheid van zoekantwoorden te verbeteren. Hem uitschakelen voorkomt dat het systeem van Anthropic je content indexeert voor zoekoptimalisatie, wat volgens Anthropic de zichtbaarheid en nauwkeurigheid van je site in zoekresultaten van gebruikers kan verminderen (Anthropic, 7 april 2026).
Hoe gedraagt Claude-SearchBot zich?
Anthropic documenteert dezelfde regels voor alle drie zijn bots:
- Ze respecteren robots.txt-instructies.
- Ze proberen CAPTCHA's en andere maatregelen tegen omzeiling niet te omzeilen.
- Ze ondersteunen de niet-standaard regel Crawl-delay, om een bot te vertragen zonder hem te blokkeren.
- Een regel geldt per host, dus elk subdomein heeft een eigen regel nodig.
- Blokkeren op IP-adres werkt mogelijk niet betrouwbaar, omdat het kan voorkomen dat de bots robots.txt lezen.
Hoe sta je Claude-SearchBot toe en blokkeer je tegelijk training?
Geef elke bot een eigen groep. Dat is de gangbare keuze voor merken die door Claude als bron vermeld willen worden zonder bij te dragen aan trainingsdata. Controleer het live bestand met de gratis AI-crawlerchecker.
# Vindbaar blijven in het zoeken van Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Content buiten de training van Anthropic houden
User-agent: ClaudeBot
Disallow: /Wat staat er op het spel, in een echt voorbeeld?
In het openbare Tesla-voorbeeld (4 okt 2026) vermeldde Claude 351 pagina's als bron over 25 koopvragen, meer dan ChatGPT en Google AI Overviews samen, en noemde het Tesla in 11 antwoorden.
Een lange bronnenlijst is een grote pool van plekken voor bronvermeldingen, en Claude-SearchBot bepaalt of je pagina's daarvoor worden geïndexeerd. tesla.com kreeg er één van die 351; de meeste gingen naar naslagwerken en sites van derden.
Hoe zie je Claude-SearchBot op je site?
Proofsource telt elke dag de verzoeken van AI-crawlers uit je Cloudflare-zone of toegangslogs, geverifieerd tegen de gepubliceerde IP-lijst van Anthropic, en laat zien welke gecrawlde pagina's uiteindelijk als bron in de antwoorden van Claude verschijnen. Zie AI-verkeer en Crawlertoegang.
Veelgestelde vragen over Claude-SearchBot
Wordt Claude-SearchBot gebruikt voor training?
Anthropic beschrijft hem als het indexeren van content om zoekresultaten te verbeteren. Training is de taak van ClaudeBot, en elke bot heeft zijn eigen regel in robots.txt.
Wat gebeurt er als ik Claude-SearchBot blokkeer?
Volgens Anthropic wordt je content dan niet meer geïndexeerd voor zoekoptimalisatie, wat je zichtbaarheid en nauwkeurigheid in de zoekantwoorden van Claude kan verminderen.
Kan ik Claude-SearchBot vertragen in plaats van blokkeren?
Ja. Anthropic ondersteunt voor zijn bots de niet-standaard regel Crawl-delay.
Hoe weet ik of een bezoek echt van Claude-SearchBot is?
Controleer het bron-IP tegen de lijst die Anthropic publiceert op claude.com/crawling/bots.json; Anthropic zegt dat een IP op die lijst van Anthropic komt.
Gerelateerde termen
- ClaudeBot
ClaudeBot is de webcrawler van Anthropic die webcontent verzamelt die kan bijdragen aan het trainen van de Claude-modellen van Anthropic.
- Claude-User
Claude-User is de agent die Anthropic gebruikt om een webpagina op te halen wanneer iemand Claude een vraag stelt waarvoor die nodig is.
- robots.txt
robots.txt is een tekstbestand in de root van een website dat crawlers vertelt welke paden ze mogen ophalen, volgens het Robots Exclusion Protocol (RFC 9309).
- PerplexityBot
PerplexityBot is de crawler van Perplexity die webpagina’s indexeert, zodat ze in de zoekresultaten van Perplexity getoond en gelinkt kunnen worden.
Uitgewerkt voorbeeld: Tesla, openbare AI-antwoorden, 4 okt. 2026: de eerste scan van Tesla door Proofsource, met 25 koopvragen en 5 merkvragen, één antwoord per vraag op elk van vier engines. Een kleine steekproef van één merk, getoond als voorbeeld, niet als benchmark.
Zie waar AI je overslaat, en wat je moet verbeteren.
Zie welke koopvragen je merk noemen, wie in jouw plaats wordt genoemd en wat je moet verbeteren. 200 antwoorden. 25 Prompts/vraag. Top-AI-engines. 2 dagen. Gratis. Geen creditcard nodig.
Google AI OverviewsGoogle AI Mode
