Prüfen Sie, ob KI-Crawler Ihre Website erreichen und lesen können, was darauf steht.
Crawler-Zugriff in Proofsource prüft die zwei Dinge, die entscheiden, ob KI von Ihrer Website lernen kann: ob GPTBot, ClaudeBot, PerplexityBot und die anderen KI-Crawler hereingelassen und tatsächlich bedient werden, und ob die Seite, die sie erhalten, Ihre Inhalte enthält oder eine leere JavaScript-Hülle.
| Crawler | robots.txt | Serverantwort |
|---|---|---|
| GPTBot (OpenAI-Training) | Erlaubt | Abgewiesen (403) |
| OAI-SearchBot (ChatGPT-Suche) | Erlaubt | Ausgeliefert (200) |
| ChatGPT-User (ChatGPT-Browsing) | Erlaubt | Ausgeliefert (200) |
| ClaudeBot (Anthropic) | Erlaubt | Abgewiesen (403) |
| PerplexityBot (Perplexity) | Erlaubt | Ausgeliefert (200) |
Ein Urteil für jeden KI-Crawler in Ihrer robots.txt.
Proofsource liest Ihre robots.txt und gibt ein Urteil für zehn KI-Crawler ab. Es ist wichtig zu wissen, welcher Crawler was tut: OAI-SearchBot und PerplexityBot rufen Seiten für Live-Antworten ab, während GPTBot und Google-Extended Trainingsdaten steuern. So können Sie Training blockieren, ohne aus der KI-Suche zu verschwinden.
- GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot und Bytespider
- Erlaubt oder nicht erlaubt, und „nicht bestimmt“, wenn die Datei nicht lesbar ist, nie geraten
- Google-Extended ist ein robots.txt-Token, kein eigener Crawler, und wird auch so geprüft
| Token | Verwendet für | Urteil |
|---|---|---|
| GPTBot | Training von OpenAI-Modellen | Nicht erlaubt |
| OAI-SearchBot | ChatGPT-Suchergebnisse | Erlaubt |
| ClaudeBot | Crawling durch Anthropic | Erlaubt |
| PerplexityBot | Perplexity-Antworten | Erlaubt |
| Google-Extended | Training von Gemini und Vertex AI | Nicht erlaubt |
robots.txt ist eine Bitte. Der Server entscheidet, wer hereinkommt.
Eine Website kann GPTBot in robots.txt erlauben und ihm trotzdem mit einem 403 aus einer Bot-Firewall im CDN antworten. Proofsource ruft Ihre Startseite als GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot und PerplexityBot ab und hält fest, was Ihr Server tatsächlich zurückgegeben hat. Ein reiner robots.txt-Checker würde jeden davon als erlaubt melden.
- Ausgeliefert, abgewiesen oder unklar, pro Crawler
- Der Statuscode, den jeder Crawler erhalten hat
- Erkennt CDN- und Firewall-Sperren, die robots.txt-Prüfungen übersehen
GET / als GPTBot → 403 Your request was blocked.
Die Ursache war eine Bot-Einstellung im CDN, nicht robots.txt. Ein reiner robots.txt-Checker hätte jeden Crawler als erlaubt gemeldet.
Sehen Sie, wie viel Ihrer Seite ein Bot tatsächlich lesen kann.
Viele KI-Crawler lesen das reine HTML und führen kein JavaScript aus. Proofsource vergleicht die Wörter, die ein Browser rendert, mit den Wörtern im reinen HTML. Eine clientseitig gerenderte Seite kann im Browser Tausende Wörter zeigen und einem Bot nur ein paar Dutzend. Wenn Ihre Inhalte erst erscheinen, nachdem JavaScript gelaufen ist, sehen die meisten KI-Crawler sie nie.
- Gerenderte Wörter im Vergleich zu Wörtern im reinen HTML, pro Seite
- Markiert Seiten ohne Fließtext, ohne H1 oder ohne crawlbare Links
- Erneut prüfen, nachdem Sie Server-Rendering oder Prerendering eingeführt haben
| Prüfen | Ergebnis |
|---|---|
| Fließtext im HTML | Fehlt |
| H1 im HTML | Fehlt |
| Links, denen ein Crawler folgen kann | Keine gefunden |
Wenn KI Sie nicht lesen kann, kann sie Sie nicht empfehlen.
Stille Sperren finden
Bot-Einstellungen im CDN können KI-Crawler abweisen, ohne dass es jemand in Ihrem Team bemerkt. Die Server-Prüfung zeigt es.
Ihre Inhalte sichtbar machen
Eine Seite, die nur per JavaScript gerendert wird, ist für die meisten KI-Crawler nahezu leer. Die Rendering-Prüfung misst, wie nahe.
Training blockieren, Suche behalten
Ein Urteil pro Crawler zeigt genau, welche KI-Systeme Sie hereinlassen, damit das Blockieren von Training eine Entscheidung ist und kein Versehen.
Fragen von Käufern
Wie prüfe ich, ob GPTBot auf meine Website zugreifen kann?
Prüfen Sie zwei Dinge. Erstens robots.txt: GPTBot sollte dort nicht ausgeschlossen sein. Zweitens den Server: Rufen Sie eine Seite mit dem User-Agent von GPTBot ab und prüfen Sie, dass Sie ein 200 erhalten und kein 403 von einem CDN oder einer Firewall. Proofsource führt beide Prüfungen durch und bestätigt außerdem, dass die Seite lesbaren Text enthält.
Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?
GPTBot sammelt Inhalte, die zum Training von OpenAI-Modellen verwendet werden können. OAI-SearchBot ruft Seiten für ChatGPT-Suchergebnisse ab, und ChatGPT-User ruft eine Seite ab, wenn eine Unterhaltung eines Nutzers sie braucht. GPTBot zu blockieren entfernt Sie nicht aus der ChatGPT-Suche, OAI-SearchBot zu blockieren dagegen schon.
Was ist Google-Extended?
Google-Extended ist ein robots.txt-Token, kein eigener Crawler. Wenn Sie es ausschließen, verwendet Google Ihre Inhalte nicht für das Training von Gemini- und Vertex-AI-Modellen. Auf die Google-Suche hat es keinen Einfluss.
Können KI-Crawler JavaScript-Websites lesen?
Viele nicht. Mehrere KI-Crawler lesen nur das reine HTML, das ein Server zurückgibt, und führen kein JavaScript aus, sodass eine clientseitig gerenderte Seite für sie fast leer aussehen kann. Server-Side-Rendering oder Prerendering stellt den Text ins HTML, wo jeder Crawler ihn lesen kann.
Warum sollte meine Website KI-Crawler blockieren, ohne dass ich es weiß?
CDN- und Sicherheitsanbieter bieten Einstellungen zum Blockieren von Bots, und manche blockieren KI-Trainings-Crawler standardmäßig oder mit einem Schalter. Die Sperre greift auf dem Server, daher sagt robots.txt weiterhin, dass der Crawler erlaubt ist. Nur eine Anfrage als dieser Crawler macht es sichtbar.
Kann ich Proofsource kostenlos testen?
Ja. 200 Antworten. 25 Prompts/Frage. Top-KI-Engines. 2 Tage. Kostenlos. 25 Käuferfragen in ChatGPT, Perplexity, Claude und Google AI Overviews, heute und morgen. Keine Kreditkarte. Nach dem zweiten Scan pausiert das Scannen, und Ihre Antworten bleiben in Ihrem Konto.
Was kostet Proofsource?
Eine Preiskarte für alle: Tarife beginnen bei 9 $ pro Monat (5 Fragen an ChatGPT, wöchentlich). Jede Marke zahlt eine Gebühr für täglich (28 $ pro Marke und Monat) oder wöchentlich (7 $), dazu jede Frage in jeder gewählten Engine. Unbegrenzt viele Teammitglieder in jedem Tarif. Keine Zusatzkosten.
Mehr von der Plattform
Ask Proof
Ein Assistent, der Fragen zu Ihrer KI-Sichtbarkeit aus Ihren eigenen Daten beantwortet und die Abfragen hinter jeder Zahl zeigt.Ask Proof entdecken
KI-Sichtbarkeit
Erwähnungsrate, Share of Voice und durchschnittliche Position auf jeder KI-Engine, mit einem 95-%-Wilson-Intervall auf jeder Zahl.KI-Sichtbarkeit entdecken
Prompts
Die Käuferfragen, die Sie beobachten, nach Thema gruppiert, als mit oder ohne Markennamen markiert, nach Suchnachfrage gereiht, mit den Suchen, die jede Engine ausführt.Prompts entdecken
Stellen Sie sicher, dass KI Sie lesen kann.
Sehen Sie, ob die KI Ihre Marke nennt, wen sie stattdessen nennt und was Sie korrigieren sollten. 200 Antworten. 25 Prompts/Frage. Top-KI-Engines. 2 Tage. Kostenlos. Keine Kreditkarte · kein Verkaufsgespräch.
Google AI OverviewsGoogle AI Mode
