Wir haben 199 Websites in der robots.txt und am Server geprüft
Wie prüfe ich, welche KI-Crawler meine Website blockiert? Die meisten Checker, unser kostenloser eingeschlossen, lesen die robots.txt und hören dort auf. Der Standard hinter der Datei, RFC 9309, sagt klar, wo ihre Grenze liegt: "Diese Regeln sind keine Form der Zugriffsberechtigung." Eine Regel bittet einen Crawler, draußen zu bleiben. Ob eine Anfrage die Seite bekommt, entscheiden Ihr Server, Ihr CDN und Ihre Firewall.
Proofsource prüft die Website jeder Marke, die es verfolgt. Wir haben für jede Website den letzten Audit zwischen dem 5. Oktober und dem 20. November 2026 genommen: 199 Websites, ohne unsere eigenen und Test-Domains. Jeder Audit liest die robots.txt für jeden KI-Crawler und fragt dann die Startseite einmal pro Crawler ab, mit dem veröffentlichten User-Agent dieses Crawlers. Er hält fest, ob der Server die Seite auslieferte oder mit 401, 403, 429 oder einer Bot-Prüfung antwortete.
Server lehnten GPTBot auf 32 Websites ab, die robots.txt sperrte ihn auf 12
Der Server wies eine Anfrage, die sich als GPTBot ausgab, auf 32 der 199 Websites ab: 16,1 % (11,6 % bis 21,8 %). Die robots.txt sperrte GPTBot auf 12 (6,0 %).
Auf 21 dieser 32 Websites erlaubte die robots.txt jeden KI-Crawler, für den wir sie gelesen haben. Eine Prüfung nur der Datei hätte allen 21 gesagt, sie seien für KI offen.
Einmal lief es andersherum. Eine Website sperrte GPTBot in der robots.txt, und ihr Server lieferte die Seite trotzdem aus. Die Datei ist in beide Richtungen nur eine Bitte.
Die meisten Sperren am Server trafen Trainings-Crawler und verschonten die Suche
Auf 20 Websites lehnte der Server GPTBot ab, lieferte aber an OAI-SearchBot und ChatGPT-User aus, und 15 davon wiesen auch ClaudeBot ab. Diese Aufteilung wirkt gewollt. Die Crawler-Dokumentation von OpenAI behandelt seine Crawler als getrennte Einstellungen: GPTBot sammelt Trainingsdaten, OAI-SearchBot findet Seiten für die ChatGPT-Suche. Wer den ersten abweist, verschwindet nicht aus der zweiten.
13 Websites wiesen die Crawler ab, die Seiten in Antworten bringen
Für Zitierungen zählen die Such- und Nutzer-Agenten. 13 Websites (6,5 %) lehnten mindestens einen von OAI-SearchBot, ChatGPT-User oder PerplexityBot ab. Die robots.txt sperrte sie nur auf einer dieser 13.
10 Websites wiesen jeden KI-Crawler ab, den wir schickten. 7 dieser 10 antworteten mit einer Bot-Prüfung von Cloudflare statt mit einer einfachen Fehlerseite. Laut OpenAI wird eine Website, die OAI-SearchBot ausschließt, in den Antworten der ChatGPT-Suche nicht gezeigt, und OpenAI bittet Websites, die erscheinen wollen, neben dem Namen in der robots.txt auch die veröffentlichten IP-Bereiche zuzulassen.
Manche dieser Sperren hat wohl nie jemand selbst geschrieben
Cloudflare führte im September 2024 eine Option ein, KI-Crawler mit einem Klick zu sperren, und sagt, dass mehr als eine Million Kunden sie aktiviert haben. Seit dem 1. Juli 2025 fragt Cloudflare jede neue Domain bei der Anmeldung, ob KI-Crawler überhaupt zugelassen werden sollen. Eine Einstellung, die einmal im Dashboard gewählt wurde, vielleicht von der Person, die das Konto eingerichtet hat, taucht in der robots.txt nicht auf. Wenn ein Crawler abgewiesen wird und sich in Ihrem Team niemand an diese Entscheidung erinnert, schauen Sie zuerst dort nach.
Beides in zehn Minuten prüfen
- Lesen Sie die robots.txt zuerst für die Antwort-Crawler: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Entscheiden Sie danach getrennt über die Trainings-Crawler GPTBot und ClaudeBot.
- Rufen Sie Ihre Startseite mit curl ab und setzen Sie den User-Agent auf den Namen jedes Crawlers. Ein 403, ein 429 oder eine Prüfseite heißt, dass der Server ihn abgewiesen hat, egal was die robots.txt sagt.
- Öffnen Sie die Bot- und KI-Crawler-Einstellungen Ihres CDN und lesen Sie, was für jeden Crawler eingestellt ist. Prüfen Sie bei Cloudflare sowohl die KI-Crawler-Steuerung als auch jede Regel, die KI-Bots sperrt.
- Lässt Ihre Firewall nur verifizierte Bots durch, setzen Sie die veröffentlichten IP-Bereiche der KI-Unternehmen auf die Erlaubnisliste und suchen Sie in Ihren Logs nach 403-Antworten an diese Crawler.
Wie Proofsource das prüft
Jeder Website-Audit von Proofsource liest die robots.txt für jeden KI-Crawler und fragt Ihre Startseite als jeder dieser Crawler ab. Wenn die robots.txt einen Crawler erlaubt und der Server ihn abweist, meldet der erste Scan das in einer eigenen Zeile, mit der Einstellung, die Sie ändern müssen.
Wo wir falschliegen könnten
Unsere Anfragen kamen von unseren Servern, nicht von denen von OpenAI, Anthropic oder Perplexity. Eine Firewall, die prüft, woher eine Anfrage kommt, kann unsere ablehnen und den echten Crawler trotzdem bedienen. Das gilt vor allem für die Bot-Prüfungen. Sehen Sie eine Ablehnung als Grund, Ihre CDN-Einstellungen zu öffnen, nicht als Beweis, dass ChatGPT Sie nicht lesen kann.
Eine Anfrage pro Crawler, nur an die Startseite, zu einem Zeitpunkt. 5 der Ablehnungen waren 429-Ratenlimits, die vorübergehen können. Andere Seiten können andere Regeln haben.
199 Websites von Marken, die in Proofsource verfolgt werden, und damit keine Zufallsstichprobe des Webs. Frühere Audits schickten fünf Crawler, spätere acht, daher decken die Zahlen für Claude-SearchBot, Claude-User und Perplexity-User 189 Websites ab. Die Logs der Websites haben wir nicht gesehen, also können wir nicht sagen, wie echte Crawler-Besuche beantwortet wurden.