robots.txt-Checker für KI-Crawler und Googlebot
Ein kostenloser robots.txt-Checker. Geben Sie eine Domain ein, und wir lesen ihre robots.txt für 16 Crawler, die KI-Bots von OpenAI, Anthropic und Perplexity sowie Googlebot und Bingbot, und zeigen, ob jeder erlaubt, blockiert oder nicht genannt ist, samt der Zeile, die das entscheidet.
Sechzehn Crawler, KI und Suche, und wofür jeder da ist.
Die Ergebnisse erscheinen hier. Nichts wird gespeichert, und kein KI-Modell ist beteiligt: Es ist ein einfaches Lesen der robots.txt.
GPTBot · OpenAI · Training
Sammelt Seiten, um OpenAI-Modelle zu trainieren.
OAI-SearchBot · OpenAI · Suche
Indexiert Seiten, damit die ChatGPT-Suche sie zitieren kann.
ChatGPT-User · OpenAI · Nutzerabruf
Öffnet eine Seite, wenn ein ChatGPT-Nutzer darum bittet.
ClaudeBot · Anthropic · Training
Sammelt Seiten, um Claude-Modelle zu trainieren.
Claude-SearchBot · Anthropic · Suche
Indexiert Seiten, damit Claude sie in Suchantworten zitieren kann.
Claude-User · Anthropic · Nutzerabruf
Öffnet eine Seite, wenn ein Claude-Nutzer darum bittet.
anthropic-ai · Anthropic · Training
Ein älteres Anthropic-Token, das viele robots.txt-Dateien noch nennen.
PerplexityBot · Perplexity · Suche
Indexiert Seiten, damit Perplexity sie in Antworten zitieren kann.
Perplexity-User · Perplexity · Nutzerabruf
Öffnet eine Seite, wenn ein Perplexity-Nutzer darum bittet.
Google-Extended · Google · Training
Entscheidet, ob Gemini mit Seiten trainieren darf, die Googlebot crawlt. Die Suche ist davon nicht betroffen.
Googlebot · Google · Suche
Die Google-Suche, aus der AI Overviews und AI Mode schöpfen.
Bingbot · Microsoft · Suche
Die Bing-Suche, der Index, aus dem die Antworten von Copilot schöpfen.
Applebot-Extended · Apple · Training
Entscheidet, ob Apple seine Modelle mit Seiten trainieren darf, die Applebot crawlt.
CCBot · Common Crawl · Training
Erstellt den offenen Common-Crawl-Datensatz, mit dem viele Modelle trainiert werden.
Meta-ExternalAgent · Meta · Training
Sammelt Seiten, um Meta-AI-Modelle zu trainieren.
Bytespider · ByteDance · Training
Sammelt Seiten, um ByteDance-Modelle zu trainieren.
Die Regeln folgen RFC 9309: Ein Crawler befolgt die Gruppen, die ihn nennen, andernfalls die *-Gruppe; die längste passende Regel gewinnt, und bei Gleichstand gewinnt Allow. Das Urteil gilt für die Startseite. Trainings-Crawler speisen künftige Modelle; Such-Crawler entscheiden, ob eine KI-Antwort Sie heute zitieren kann; Nutzerabrufe geschehen, wenn jemand einen Assistenten bittet, Ihre Seite zu öffnen.
robots.txt ist nur die Hälfte des Zugangs. Eine Bot-Einstellung im CDN kann einen Crawler trotzdem abweisen, den robots.txt erlaubt, und diese Prüfung kann das nicht sehen; Crawler-Zugang in Proofsource ruft Ihre Seiten als jeder einzelne Crawler ab, um es herauszufinden. Lesen Sie, warum das Blockieren von GPTBot Sie nicht aus ChatGPT entfernt, prüfen Sie Ihre Datei mit dem llms.txt-Validator, oder beginnen Sie mit dem Leitfaden zur KI-Sichtbarkeit.
Was die Antworten bedeuten.
Sollte ich Trainings-Crawler blockieren?
Das ist eine geschäftliche Entscheidung. Wer GPTBot oder ClaudeBot blockiert, hält seine Seiten aus künftigen Trainingsdaten heraus, hindert ChatGPT oder Claude aber nicht daran, Sie über ihre Such-Crawler zu zitieren. Wer OAI-SearchBot, Claude-SearchBot oder PerplexityBot blockiert, verschwindet dagegen aus diesen Antworten.
Warum steht bei einem Crawler „nicht genannt“?
Ihre robots.txt hat keine Gruppe für ihn, also folgt er der *-Gruppe. Gibt es auch keine *-Gruppe, schränkt ihn nichts ein.
Hält robots.txt jeden Bot auf?
Nein. Sie ist eine Bitte, die die großen KI-Unternehmen nach eigener Aussage respektieren. Einen Crawler, der sie ignoriert, blockiert sie nicht; das tut eine Firewall-Regel.
Crawlbar zu sein ist der erste Schritt.
Proofsource zeigt, ob ChatGPT, Perplexity, Claude und Google Sie wirklich nennen, welche Wettbewerber sie stattdessen nennen und was zu korrigieren ist.