Notizen aus der Praxis4 Min. Lesezeit

Auf 21 der 32 Websites, deren Server KI-Crawler abwiesen, erlaubte die robots.txt sie

Ein robots.txt-Checker liest die Datei und hört dann auf. Ob ein Crawler die Seite wirklich bekommt, entscheiden Server, CDN und Firewall, und in unserer Stichprobe wiesen sie Crawler fast dreimal so oft ab wie die robots.txt.

Wir haben 199 Websites in der robots.txt und am Server geprüft

Wie prüfe ich, welche KI-Crawler meine Website blockiert? Die meisten Checker, unser kostenloser eingeschlossen, lesen die robots.txt und hören dort auf. Der Standard hinter der Datei, RFC 9309, sagt klar, wo ihre Grenze liegt: "Diese Regeln sind keine Form der Zugriffsberechtigung." Eine Regel bittet einen Crawler, draußen zu bleiben. Ob eine Anfrage die Seite bekommt, entscheiden Ihr Server, Ihr CDN und Ihre Firewall.

Proofsource prüft die Website jeder Marke, die es verfolgt. Wir haben für jede Website den letzten Audit zwischen dem 5. Oktober und dem 20. November 2026 genommen: 199 Websites, ohne unsere eigenen und Test-Domains. Jeder Audit liest die robots.txt für jeden KI-Crawler und fragt dann die Startseite einmal pro Crawler ab, mit dem veröffentlichten User-Agent dieses Crawlers. Er hält fest, ob der Server die Seite auslieferte oder mit 401, 403, 429 oder einer Bot-Prüfung antwortete.

Server lehnten GPTBot auf 32 Websites ab, die robots.txt sperrte ihn auf 12

Der Server wies eine Anfrage, die sich als GPTBot ausgab, auf 32 der 199 Websites ab: 16,1 % (11,6 % bis 21,8 %). Die robots.txt sperrte GPTBot auf 12 (6,0 %).

Auf 21 dieser 32 Websites erlaubte die robots.txt jeden KI-Crawler, für den wir sie gelesen haben. Eine Prüfung nur der Datei hätte allen 21 gesagt, sie seien für KI offen.

Einmal lief es andersherum. Eine Website sperrte GPTBot in der robots.txt, und ihr Server lieferte die Seite trotzdem aus. Die Datei ist in beide Richtungen nur eine Bitte.

Die meisten Sperren am Server trafen Trainings-Crawler und verschonten die Suche

Auf 20 Websites lehnte der Server GPTBot ab, lieferte aber an OAI-SearchBot und ChatGPT-User aus, und 15 davon wiesen auch ClaudeBot ab. Diese Aufteilung wirkt gewollt. Die Crawler-Dokumentation von OpenAI behandelt seine Crawler als getrennte Einstellungen: GPTBot sammelt Trainingsdaten, OAI-SearchBot findet Seiten für die ChatGPT-Suche. Wer den ersten abweist, verschwindet nicht aus der zweiten.

13 Websites wiesen die Crawler ab, die Seiten in Antworten bringen

Für Zitierungen zählen die Such- und Nutzer-Agenten. 13 Websites (6,5 %) lehnten mindestens einen von OAI-SearchBot, ChatGPT-User oder PerplexityBot ab. Die robots.txt sperrte sie nur auf einer dieser 13.

10 Websites wiesen jeden KI-Crawler ab, den wir schickten. 7 dieser 10 antworteten mit einer Bot-Prüfung von Cloudflare statt mit einer einfachen Fehlerseite. Laut OpenAI wird eine Website, die OAI-SearchBot ausschließt, in den Antworten der ChatGPT-Suche nicht gezeigt, und OpenAI bittet Websites, die erscheinen wollen, neben dem Namen in der robots.txt auch die veröffentlichten IP-Bereiche zuzulassen.

Manche dieser Sperren hat wohl nie jemand selbst geschrieben

Cloudflare führte im September 2024 eine Option ein, KI-Crawler mit einem Klick zu sperren, und sagt, dass mehr als eine Million Kunden sie aktiviert haben. Seit dem 1. Juli 2025 fragt Cloudflare jede neue Domain bei der Anmeldung, ob KI-Crawler überhaupt zugelassen werden sollen. Eine Einstellung, die einmal im Dashboard gewählt wurde, vielleicht von der Person, die das Konto eingerichtet hat, taucht in der robots.txt nicht auf. Wenn ein Crawler abgewiesen wird und sich in Ihrem Team niemand an diese Entscheidung erinnert, schauen Sie zuerst dort nach.

Beides in zehn Minuten prüfen

  • Lesen Sie die robots.txt zuerst für die Antwort-Crawler: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Entscheiden Sie danach getrennt über die Trainings-Crawler GPTBot und ClaudeBot.
  • Rufen Sie Ihre Startseite mit curl ab und setzen Sie den User-Agent auf den Namen jedes Crawlers. Ein 403, ein 429 oder eine Prüfseite heißt, dass der Server ihn abgewiesen hat, egal was die robots.txt sagt.
  • Öffnen Sie die Bot- und KI-Crawler-Einstellungen Ihres CDN und lesen Sie, was für jeden Crawler eingestellt ist. Prüfen Sie bei Cloudflare sowohl die KI-Crawler-Steuerung als auch jede Regel, die KI-Bots sperrt.
  • Lässt Ihre Firewall nur verifizierte Bots durch, setzen Sie die veröffentlichten IP-Bereiche der KI-Unternehmen auf die Erlaubnisliste und suchen Sie in Ihren Logs nach 403-Antworten an diese Crawler.

Wie Proofsource das prüft

Jeder Website-Audit von Proofsource liest die robots.txt für jeden KI-Crawler und fragt Ihre Startseite als jeder dieser Crawler ab. Wenn die robots.txt einen Crawler erlaubt und der Server ihn abweist, meldet der erste Scan das in einer eigenen Zeile, mit der Einstellung, die Sie ändern müssen.

Wo wir falschliegen könnten

Unsere Anfragen kamen von unseren Servern, nicht von denen von OpenAI, Anthropic oder Perplexity. Eine Firewall, die prüft, woher eine Anfrage kommt, kann unsere ablehnen und den echten Crawler trotzdem bedienen. Das gilt vor allem für die Bot-Prüfungen. Sehen Sie eine Ablehnung als Grund, Ihre CDN-Einstellungen zu öffnen, nicht als Beweis, dass ChatGPT Sie nicht lesen kann.

Eine Anfrage pro Crawler, nur an die Startseite, zu einem Zeitpunkt. 5 der Ablehnungen waren 429-Ratenlimits, die vorübergehen können. Andere Seiten können andere Regeln haben.

199 Websites von Marken, die in Proofsource verfolgt werden, und damit keine Zufallsstichprobe des Webs. Frühere Audits schickten fünf Crawler, spätere acht, daher decken die Zahlen für Claude-SearchBot, Claude-User und Perplexity-User 189 Websites ab. Die Logs der Websites haben wir nicht gesehen, also können wir nicht sagen, wie echte Crawler-Besuche beantwortet wurden.

Woher die externen Zahlen stammen

  1. RFC 9309: Robots Exclusion Protocol · IETF
  2. Overview of OpenAI Crawlers · OpenAI
  3. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large · Cloudflare
  4. Kostenlose robots.txt-Prüfung für KI-Crawler wie GPTBot · Proofsource
Alle Beiträge

Fragen

Sperrt die robots.txt KI-Crawler?

Sie bittet sie, draußen zu bleiben, und die großen KI-Unternehmen sagen, dass sie sich daran halten, aber sie stoppt keine Anfrage. In unserem Audit von 199 Websites sperrte eine Website GPTBot in der robots.txt, und ihr Server lieferte die Seite trotzdem aus.

Woran erkenne ich, ob Cloudflare ChatGPT blockiert?

Rufen Sie Ihre Startseite mit dem User-Agent OAI-SearchBot ab und achten Sie auf ein 403 oder eine Prüfseite, dann lesen Sie Ihre KI-Crawler-Einstellungen bei Cloudflare. In unserer Stichprobe wiesen 7 der 10 Websites, die jeden KI-Crawler ablehnten, ihn mit einer Bot-Prüfung von Cloudflare ab.

Verschwinde ich aus ChatGPT, wenn ich GPTBot sperre?

Nicht aus der ChatGPT-Suche. OpenAI dokumentiert GPTBot (Training) und OAI-SearchBot (Suche) als getrennte Einstellungen. Auf 20 der 199 geprüften Websites lehnte der Server GPTBot ab und lieferte trotzdem an OAI-SearchBot aus.

Ihre eigenen Zahlen schlagen unseren besten Beitrag.

Die Shortlist in Ihrer Kategorie entsteht gerade, ob jemand diese Seite liest oder nicht. Eine kostenlose Testphase mit 25 Fragen auf vier Engines, heute, zeigt Ihnen, ob Ihr Name darauf steht.

100 Antworten. 25 Prompts/Frage. Top-KI-Engines. Kostenlos.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI