Was ist ClaudeBot?
ClaudeBot ist der Webcrawler von Anthropic, der Webinhalte sammelt, die zum Training der Claude-Modelle von Anthropic beitragen können. Anthropic betreibt drei Bots mit getrennten Aufgaben: ClaudeBot für das Training, Claude-SearchBot für die Suchindexierung und Claude-User, um eine Seite abzurufen, wenn jemand Claude eine Frage stellt. Jeder wird in der robots.txt einzeln benannt, eine Regel für ClaudeBot sagt also nichts über die anderen beiden.
Wie lautet der User-Agent von ClaudeBot?
ClaudeBot gibt sich mit dem Produkt-Token ClaudeBot zu erkennen, und genau dieses Token muss eine robots.txt-Gruppe nennen. Der Hilfeartikel von Anthropic nennt die drei Bots (ClaudeBot, Claude-User und Claude-SearchBot), druckt aber keinen vollständigen User-Agent-String ab; prüfen Sie in Ihren Logs also auf das Token statt auf einen kopierten String (Crawler-Artikel von Anthropic, gelesen am 15. Okt. 2026).
Ein Name in einer Logzeile lässt sich fälschen. Um zu bestätigen, dass eine Anfrage wirklich von Anthropic kam, prüfen Sie ihre Quell-IP gegen die Liste, die Anthropic unter claude.com/crawling/bots.json veröffentlicht; laut Anthropic kommt ein Crawler mit einer Quell-IP auf dieser Liste von Anthropic.
Manche robots.txt-Dateien nennen noch anthropic-ai oder Claude-Web, ältere Tokens. Der aktuelle Artikel von Anthropic erwähnt keines davon, eine Regel, die nur diese älteren Tokens nennt, deckt ClaudeBot also nicht nachweislich ab.
Was sammelt ClaudeBot, und wozu?
ClaudeBot sammelt öffentliche Webinhalte, die zum Training der generativen KI-Modelle von Anthropic beitragen können, was laut Anthropic die Nützlichkeit und Sicherheit der Modelle verbessert. Wer ihn sperrt, signalisiert, dass künftige Inhalte der Website aus den Trainingsdaten von Anthropic herausbleiben sollen.
Anthropic beschreibt auch, wie sich seine Bots verhalten:
- Sie beachten „nicht crawlen“-Anweisungen in der robots.txt.
- Sie versuchen nicht, CAPTCHAs oder andere Schutzmaßnahmen zu umgehen.
- Sie unterstützen die nicht standardisierte Regel Crawl-delay, sodass Sie ClaudeBot bremsen können, ohne ihn zu sperren.
- Eine Regel gilt für einen Host, eine Website mit Subdomains braucht die Regel also in der robots.txt jeder Subdomain.
Wie unterscheidet sich ClaudeBot von Claude-User und Claude-SearchBot?
Bei ClaudeBot geht es um Training; bei Claude-SearchBot und Claude-User darum, gefunden und gelesen zu werden, wenn Menschen Claude etwas fragen. Anthropic warnt, dass das Abschalten eines der beiden letzteren die Sichtbarkeit Ihrer Website in den Suchantworten von Claude verringern kann.
| Bot | Aufgabe | Wenn Sie ihn sperren |
|---|---|---|
| ClaudeBot | Sammelt Webinhalte, die zum Modelltraining beitragen können | Signalisiert, dass Ihre künftigen Inhalte aus dem Training herausbleiben sollen |
| Claude-SearchBot | Liest das Web, um Qualität und Relevanz der Suchergebnisse von Claude zu verbessern | Beendet die Indexierung für die Suche, was Ihre Sichtbarkeit und Genauigkeit in den Suchantworten von Claude verringern kann |
| Claude-User | Ruft eine Seite ab, wenn jemand Claude eine Frage stellt, die sie braucht | Claude kann Ihre Seiten für solche Fragen nicht abrufen, was Ihre Sichtbarkeit in nutzergesteuerter Suche verringern kann |
Wie sperren oder erlauben Sie ClaudeBot in der robots.txt?
Fügen Sie der robots.txt im Stammverzeichnis jedes Hosts eine Gruppe hinzu, die ClaudeBot nennt. Das Beispiel von Anthropic sperrt ClaudeBot für die ganze Website mit einer einzigen Zeile Disallow: / unter User-agent: ClaudeBot.
Die übliche Wahl ist, Inhalte aus dem Training herauszuhalten und trotzdem in den Antworten von Claude auffindbar zu bleiben: ClaudeBot sperren, die anderen beiden erlauben. Crawl-delay ist Anthropics dokumentierter Weg, ClaudeBot zu bremsen statt zu sperren. Verlassen Sie sich nicht stattdessen auf das Sperren der IP-Adressen von Anthropic; laut Anthropic funktioniert das womöglich nicht zuverlässig, weil es seine Bots daran hindert, Ihre robots.txt zu lesen. Prüfen Sie die Live-Datei danach mit dem kostenlosen KI-Crawler-Checker.
# Inhalte aus dem Training von Anthropic heraushalten
User-agent: ClaudeBot
Disallow: /
# In den Antworten von Claude auffindbar bleiben
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Oder ClaudeBot bremsen statt sperren:
# User-agent: ClaudeBot
# Crawl-delay: 1Was bedeutet das dafür, von Claude zitiert zu werden?
Ob Claude Sie zitiert, hängt davon ab, dass Claude-SearchBot und Claude-User Ihre Seiten erreichen; ClaudeBot ist eine eigene Entscheidung über das Training. Wer alle drei sperrt, gibt beides auf.
Die Zitierungen von Claude verteilen sich selbst bei einer berühmten Marke dünn. Im öffentlichen Tesla-Beispiel (4. Okt. 2026) nannte Claude Tesla in 11 von 25 Antworten auf Käuferfragen und gab in diesen Antworten 351 Zitierungen, nur eine davon an tesla.com. Die meistzitierte Website war en.wikipedia.org, 16-mal. Um diesen Zitierungsraum entscheidet eine Regel für den Such-Crawler, ob Sie mitspielen können, und gemessen wird er, indem man die Fragen stellt, nicht indem man die robots.txt liest. Siehe, wie Claude die genannten Marken auswählt.
Häufige Fragen: ClaudeBot
Entfernt das Sperren von ClaudeBot meine Website aus Claude?
Nach Anthropics Beschreibung nicht. ClaudeBot ist der Trainings-Crawler. Die Suchindexierung übernimmt Claude-SearchBot und Seitenabrufe für die Frage eines Nutzers Claude-User, und laut Anthropic kann das Sperren dieser beiden Ihre Sichtbarkeit in den Suchantworten von Claude verringern.
Beachtet ClaudeBot die robots.txt?
Laut Anthropic beachten seine Bots robots.txt-Anweisungen, umgehen keine CAPTCHAs und unterstützen Crawl-delay. Setzen Sie die Regel in die robots.txt jeder Subdomain, die abgedeckt sein soll.
Sollte ich ClaudeBot per IP-Adresse sperren?
Anthropic rät davon ab, sich darauf zu verlassen: Das Sperren seiner IP-Adressen funktioniert womöglich nicht korrekt oder dauerhaft, und es hindert die Bots daran, Ihre robots.txt zu lesen. Nutzen Sie die robots.txt für die Regel und die veröffentlichte IP-Liste von Anthropic nur, um zu bestätigen, dass eine Anfrage echt ist.
Ist ClaudeBot dasselbe wie anthropic-ai?
Nein. anthropic-ai und Claude-Web sind ältere Tokens, die manche robots.txt-Dateien noch enthalten, und der aktuelle Artikel von Anthropic erwähnt sie nicht. Er nennt nur ClaudeBot, Claude-SearchBot und Claude-User, schreiben Sie Ihre Regeln also für diese drei.
Verwandte Begriffe
- GPTBot
GPTBot ist der Webcrawler von OpenAI, der Inhalte sammelt, die zum Training der generativen KI-Basismodelle von OpenAI verwendet werden können.
- OAI-SearchBot
OAI-SearchBot ist der Crawler von OpenAI, der Websites für die Suchfunktionen von ChatGPT erfasst; Websites, die ihn ausschließen, erscheinen nicht in den Antworten der ChatGPT-Suche.
- PerplexityBot
PerplexityBot ist der Crawler von Perplexity, der Webseiten indexiert, damit sie in den Suchergebnissen von Perplexity erscheinen und verlinkt werden können.
Durchgerechnetes Beispiel: Tesla, öffentliche KI-Antworten, 4. Okt. 2026: der erste Scan von Tesla durch Proofsource, 25 Käuferfragen und 5 Markenfragen, eine Antwort pro Frage auf jeder von vier Engines. Eine kleine Stichprobe einer einzigen Marke, gezeigt als Beispiel, nicht als Benchmark.
Sehen Sie, wo KI Sie auslässt, und was Sie korrigieren sollten.
Sehen Sie, bei welchen Käuferfragen Ihre Marke genannt wird, wer stattdessen genannt wird und was Sie ändern sollten. 200 Antworten. 25 Prompts/Frage. Top-KI-Engines. 2 Tage. Kostenlos. Keine Kreditkarte.
Google AI OverviewsGoogle AI Mode
