Wat is CCBot?
CCBot is de webcrawler van Common Crawl, een non-profit die een gratis, open kopie van het web publiceert die onderzoekers en AI-ontwikkelaars als trainingsdata gebruiken. CCBot is geen crawler van een AI-bedrijf, maar zijn archief voedt veel AI-modellen. Common Crawl publiceert zijn kopie van het web gratis, dus CCBot blokkeren is een beslissing over open datasets waarop onderzoekers en AI-ontwikkelaars trainen.
Wat is Common Crawl, en wat doet CCBot?
Common Crawl omschrijft zichzelf als een 501(c)(3)-non-profitorganisatie die onderzoekers, bedrijven en particulieren kosteloos een kopie van het internet wil bieden; CCBot is de crawler die die kopie verzamelt (FAQ van Common Crawl, gelezen op 15 okt. 2026).
De data bereikt AI-modellen via de ontwikkelaars die haar gebruiken. Het GPT-3-artikel van OpenAI noemt bijvoorbeeld een gefilterde versie van Common Crawl als het grootste deel van de trainingsmix van dat model (Language Models are Few-Shot Learners, 28 mei 2020).
Hoe gedraagt CCBot zich?
Common Crawl documenteert de regels van zijn crawler:
- Hij controleert robots.txt en haalt een pagina alleen op als crawlen is toegestaan.
- Hij volgt Crawl-delay; Crawl-delay: 2 beperkt hem tot één verzoek per 2 seconden.
- Hij respecteert nofollow op links bij het ontdekken van links.
- Hij controleert robots.txt periodiek opnieuw, dus een nieuwe blokkade werkt bij latere bezoeken.
- Hij draait op eigen IP-bereiken met reverse DNS, gepubliceerd als JSON voor verificatie.
Hoe blokkeer of verifieer je CCBot?
Voeg in robots.txt een groep voor CCBot toe. De user-agentstring is CCBot/2.0 (https://commoncrawl.org/faq/), en Common Crawl geeft een reverse-DNS-hostnaam onder crawl.commoncrawl.org om een verzoek te verifiëren (CCBot).
# Content buiten het open archief van Common Crawl houden
User-agent: CCBot
Disallow: /Wat verandert het blokkeren van CCBot, in een echt voorbeeld?
Het verandert toekomstige open datasets, niet de antwoorden van vandaag. In het openbare Tesla-voorbeeld (4 okt 2026) beantwoordde Claude "Wat is Tesla?" en "Is Tesla betrouwbaar?" vanuit wat het model al wist, zonder bronnen te vermelden: dat geheugen kwam uit trainingsdata die lang daarvoor was verzameld.
Bij koopvragen vermeldden dezelfde engines 455 verschillende websites als bron, op het moment van antwoorden gelezen door hun eigen zoekcrawlers en fetchers. Een CCBot-regel raakt geen van die live routes; de zoek- en gebruikersagents wel.
Hoe controleer je je CCBot-regel?
Lees je live robots.txt op elke host na op een CCBot-groep, en neem die beslissing samen met die over de AI-trainingscrawlers. De gratis AI-crawlerchecker leest je live robots.txt, en Crawlertoegang in Proofsource volgt het in de tijd.
Veelgestelde vragen over CCBot
Haalt het blokkeren van CCBot mijn pagina's uit AI-antwoorden?
Nee. AI-antwoorden die zoeken, gebruiken de eigen crawlers en fetchers van de engines. CCBot beïnvloedt alleen het toekomstige archief van Common Crawl.
Haalt het blokkeren van CCBot mijn content uit bestaande datasets?
De documentatie van Common Crawl beschrijft hoe CCBot stopt met het crawlen van een geblokkeerde site. Er staat niet dat eerdere archieven worden aangepast, dus ga ervan uit dat wat eerder is verzameld, blijft.
Is CCBot een crawler van een AI-bedrijf?
Nee. Common Crawl is een non-profitorganisatie die haar archief voor iedereen publiceert. AI-ontwikkelaars zijn een van de vele gebruikers van die data.
Respecteert CCBot Crawl-delay?
Ja. Common Crawl zegt de parameter Crawl-delay in robots.txt te volgen.
Gerelateerde termen
- GPTBot
GPTBot is de webcrawler van OpenAI die content verzamelt die gebruikt kan worden om de generatieve AI-basismodellen van OpenAI te trainen.
- ClaudeBot
ClaudeBot is de webcrawler van Anthropic die webcontent verzamelt die kan bijdragen aan het trainen van de Claude-modellen van Anthropic.
- Applebot-Extended
Applebot-Extended is een robots.txt-token waarmee een site kan voorkomen dat Apple zijn content gebruikt om de basismodellen van Apple te trainen; het crawlt zelf niets.
- robots.txt
robots.txt is een tekstbestand in de root van een website dat crawlers vertelt welke paden ze mogen ophalen, volgens het Robots Exclusion Protocol (RFC 9309).
Uitgewerkt voorbeeld: Tesla, openbare AI-antwoorden, 4 okt. 2026: de eerste scan van Tesla door Proofsource, met 25 koopvragen en 5 merkvragen, één antwoord per vraag op elk van vier engines. Een kleine steekproef van één merk, getoond als voorbeeld, niet als benchmark.
Zie waar AI je overslaat, en wat je moet verbeteren.
Zie welke koopvragen je merk noemen, wie in jouw plaats wordt genoemd en wat je moet verbeteren. 200 antwoorden. 25 Prompts/vraag. Top-AI-engines. 2 dagen. Gratis. Geen creditcard nodig.
Google AI OverviewsGoogle AI Mode
