Was ist CCBot?
CCBot ist der Webcrawler von Common Crawl, einer gemeinnützigen Organisation, die eine freie, offene Kopie des Webs veröffentlicht, die Forschende und KI-Entwickler als Trainingsdaten nutzen. CCBot ist nicht der Crawler eines KI-Unternehmens, aber sein Archiv speist viele KI-Modelle. Common Crawl veröffentlicht seine Kopie des Webs kostenlos; wer CCBot sperrt, entscheidet also über offene Datensätze, mit denen Forscher und KI-Entwickler trainieren.
Was ist Common Crawl, und was macht CCBot?
Common Crawl beschreibt sich als gemeinnützige 501(c)(3)-Organisation, die Forschern, Unternehmen und Einzelpersonen kostenlos eine Kopie des Internets bereitstellt; CCBot ist der Crawler, der sie sammelt (Common-Crawl-FAQ, gelesen am 15. Okt. 2026).
Seine Daten erreichen KI-Modelle über die Entwickler, die sie nutzen. Das GPT-3-Paper von OpenAI etwa nennt eine gefilterte Fassung von Common Crawl als größten Teil des Trainingsmixes dieses Modells (Language Models are Few-Shot Learners, 28. Mai 2020).
Wie verhält sich CCBot?
Common Crawl dokumentiert die Regeln seines Crawlers:
- Er prüft die robots.txt und ruft eine Seite nur ab, wenn das Crawlen erlaubt ist.
- Er befolgt Crawl-delay; Crawl-delay: 2 begrenzt ihn auf eine Anfrage alle 2 Sekunden.
- Er beachtet nofollow bei Links für die Linkerkennung.
- Er prüft die robots.txt regelmäßig neu, eine neue Sperre wirkt also bei späteren Besuchen.
- Er läuft auf eigenen IP-Bereichen mit Reverse-DNS, als JSON zur Verifizierung veröffentlicht.
Wie sperren oder verifizieren Sie CCBot?
Fügen Sie der robots.txt eine Gruppe für CCBot hinzu. Sein User-Agent-String ist CCBot/2.0 (https://commoncrawl.org/faq/), und Common Crawl nennt einen Reverse-DNS-Hostnamen unter crawl.commoncrawl.org, um eine Anfrage zu verifizieren (CCBot).
# Inhalte aus dem offenen Archiv von Common Crawl heraushalten
User-agent: CCBot
Disallow: /Was ändert das Sperren von CCBot, in einem echten Beispiel?
Es ändert künftige offene Datensätze, nicht die heutigen Antworten. Im öffentlichen Tesla-Beispiel (4. Okt. 2026) beantwortete Claude „Was ist Tesla?“ und „Ist Tesla seriös?“ aus dem, was das Modell schon wusste, ohne Quellen zu zitieren: Dieses Gedächtnis stammte aus Trainingsdaten, die lange vorher gesammelt wurden.
Bei Käuferfragen zitierten dieselben Engines 455 verschiedene Websites, zum Zeitpunkt der Antwort von ihren eigenen Such-Crawlern und Abrufern gelesen. Eine CCBot-Regel berührt keinen dieser Live-Wege; die Such- und Nutzer-Agenten schon.
Wie prüfen Sie Ihre CCBot-Regel?
Lesen Sie Ihre Live-robots.txt auf jedem Host auf eine CCBot-Gruppe und entscheiden Sie sie zusammen mit den KI-Trainings-Crawlern. Der kostenlose KI-Crawler-Checker liest Ihre Live-robots.txt, und der Crawler-Zugriff in Proofsource verfolgt sie über die Zeit.
Häufige Fragen: CCBot
Entfernt das Sperren von CCBot meine Seiten aus KI-Antworten?
Nein. KI-Antworten mit Suche nutzen die eigenen Crawler und Abrufer der Engines. CCBot betrifft nur das künftige Archiv von Common Crawl.
Entfernt das Sperren von CCBot meine Inhalte aus bestehenden Datensätzen?
Die Dokumentation von Common Crawl beschreibt, wie CCBot aufhört, eine gesperrte Website zu crawlen. Dass frühere Archive geändert werden, sagt sie nicht; gehen Sie also davon aus, dass bereits Gesammeltes bleibt.
Ist CCBot der Crawler eines KI-Unternehmens?
Nein. Common Crawl ist eine gemeinnützige Organisation, die ihr Archiv für alle veröffentlicht. KI-Entwickler sind unter den vielen Nutzern dieser Daten.
Beachtet CCBot Crawl-delay?
Ja. Common Crawl sagt, dass er den Parameter Crawl-delay in der robots.txt befolgt.
Verwandte Begriffe
- GPTBot
GPTBot ist der Webcrawler von OpenAI, der Inhalte sammelt, die zum Training der generativen KI-Basismodelle von OpenAI verwendet werden können.
- ClaudeBot
ClaudeBot ist der Webcrawler von Anthropic, der Webinhalte sammelt, die zum Training der Claude-Modelle von Anthropic beitragen können.
- Applebot-Extended
Applebot-Extended ist ein robots.txt-Token, mit dem eine Website ausschließen kann, dass Apple ihre Inhalte zum Training seiner Basismodelle nutzt; es crawlt selbst nichts.
- robots.txt
robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Crawlern nach dem Robots Exclusion Protocol (RFC 9309) sagt, welche Pfade sie abrufen dürfen.
Durchgerechnetes Beispiel: Tesla, öffentliche KI-Antworten, 4. Okt. 2026: der erste Scan von Tesla durch Proofsource, 25 Käuferfragen und 5 Markenfragen, eine Antwort pro Frage auf jeder von vier Engines. Eine kleine Stichprobe einer einzigen Marke, gezeigt als Beispiel, nicht als Benchmark.
Sehen Sie, wo KI Sie auslässt, und was Sie korrigieren sollten.
Sehen Sie, bei welchen Käuferfragen Ihre Marke genannt wird, wer stattdessen genannt wird und was Sie ändern sollten. 200 Antworten. 25 Prompts/Frage. Top-KI-Engines. 2 Tage. Kostenlos. Keine Kreditkarte.
Google AI OverviewsGoogle AI Mode
