Verbessern Sie Ihre eigene Website, damit KI Sie lesen und einordnen kann.

Jede Engine schickt ihre eigenen Bots, und jeder lässt sich einzeln zulassen oder abweisen. Ob Sie heute in Antworten erscheinen können, entscheiden die Such- und Nutzer-Abrufe. Die Trainings-Crawler entscheiden, was künftige Modelle lernen dürfen.

Der Bot, den die meisten sperren, ist nicht der, der über ihr Erscheinen entscheidet. OpenAI dokumentiert GPTBot als Trainings-Crawler und OAI-SearchBot als den, der Websites in der ChatGPT-Suche zeigt; Websites, die OAI-SearchBot ausschließen, erscheinen nicht in den Antworten der ChatGPT-Suche. Anthropic trennt ClaudeBot (Training) von Claude-SearchBot und Claude-User, und Perplexity sagt, PerplexityBot werde gar nicht für das Training genutzt. Laut Googles Crawler-Dokumentation beeinflusst Google-Extended die Aufnahme in die Google-Suche nicht; es zu sperren, ändert also nichts an AI Overviews (die ganze Crawler-Übersicht).

Zwei Fehler sind häufig, und keiner fällt auf, wenn Sie Ihre Website im Browser ansehen.

• Am Edge blockiert. Die Bot-Abwehr eines CDN kann KI-Crawlern einen Fehler liefern, selbst wenn die robots.txt sie erlaubt; Cloudflare kündigte am 1. Juli 2025 an, KI-Crawler standardmäßig zu blockieren, sofern sie nicht zahlen. Ein robots.txt-Prüfer wie unser kostenloser KI-Crawler-Check meldet trotzdem jeden Bot als erlaubt, weil die Sperre auf dem Server geschieht.
• Leer, bis JavaScript läuft. Erscheint Ihr Text erst, wenn Skripte ausgeführt werden, sehen viele Bots eine leere Seite oder eine Handvoll Wörter, wo ein Mensch Tausende sieht.

Noch einer für Google: Um als unterstützender Link in AI Overviews oder AI Mode in Frage zu kommen, muss eine Seite indexiert sein und ein Snippet zeigen dürfen; eine nosnippet-Regel oder ein knappes max-snippet entfernt sie also auch aus der KI-Antwort.

In fünf Minuten selbst prüfen

Rufen Sie eine wichtige Seite als jeder Bot ab und prüfen Sie den Statuscode und die Wörter, die zurückkommen:

curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot" https://yoursite.com/
curl -s -o /dev/null -w "%{http_code}\n" -A "ClaudeBot" https://yoursite.com/
curl -s -A "OAI-SearchBot" https://yoursite.com/ | sed 's/<[^>]*>//g' | wc -w

Ein 403 oder 503 heißt, dass etwas diesen Bot blockiert. Eine Wortzahl weit unter dem, was Sie auf der Seite sehen, heißt, dass Ihr Text von JavaScript abhängt. Beheben Sie die Sperre im CDN, und liefern Sie Ihren Hauptinhalt im HTML aus.

Nein. llms.txt ist eine vorgeschlagene Markdown-Datei, die Ihre wichtigsten Seiten für Sprachmodelle auflistet. Googles Leitfaden zu seinen generativen KI-Funktionen, zuletzt aktualisiert am 10. Juli 2026, sagt, dass eine solche Datei Ihrer Sichtbarkeit in der Google-Suche weder schadet noch hilft, weil die Suche sie nicht nutzt, und keine der Engines, die wir verfolgen, hat gesagt, dass sie llms.txt für das Ranking nutzt.

Unser ehrlicher Befund: Wir haben /llms.txt von den 300 Domains abgerufen, die KI-Engines in unseren Stichproben am häufigsten zitierten. 129 veröffentlichten eine, und diese 129 Websites wurden 6.343-mal zitiert. Eine Zitierung verwies auf eine Datei, eine llms-full.txt; keine auf eine llms.txt. Von den zehn meistzitierten Domains hatten acht keine Datei, und zwei blockierten unsere Prüfung (die llms.txt-Studie). Ahrefs fand dasselbe vom anderen Ende her: 97 % der Dateien in seiner Stichprobe vom Mai 2026 erhielten überhaupt keine Anfragen.

Sie zu veröffentlichen schadet nicht, und Agenten, die Dokumentation lesen, nutzen sie. Wenn Sie trotzdem eine veröffentlichen, schreiben Sie sie mit dem llms.txt-Generator und prüfen Sie die Live-Version mit dem llms.txt-Validator.