Was ist robots.txt?

robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Crawlern nach dem Robots Exclusion Protocol (RFC 9309) sagt, welche Pfade sie abrufen dürfen. robots.txt ist die älteste Steuerung, die eine Website über Crawler hat, und im KI-Zeitalter hängen mehr Entscheidungen an ihr als je zuvor: Training, Suchindexierung und von Nutzern ausgelöste Abrufe haben jeweils einen eigenen Bot, und eine Regel für einen sagt nichts über die anderen.

Kostenlos testen Demo anfragen

200 Antworten. 25 Prompts/Frage. Top-KI-Engines. 2 Tage. Kostenlos. Keine Kreditkarte.

Wie funktioniert robots.txt?

Sie besteht aus Gruppen: Jede nennt ein oder mehrere User-Agent-Tokens und listet Allow- und Disallow-Pfade auf. Die Regeln sind als Robots Exclusion Protocol in RFC 9309 standardisiert (Koster, Illyes, Zeller und Sassman, September 2022), das die Details festlegt, denen Crawler folgen (RFC 9309, gelesen am 15. Okt. 2026):

Die Datei heißt robots.txt, kleingeschrieben, liegt auf der obersten Ebene des Hosts und wird als UTF-8-Klartext ausgeliefert.
Bei widersprüchlichen Regeln gewinnt die spezifischste Übereinstimmung: die mit den meisten Oktetten.
Crawler müssen mindestens 500 Kibibyte der Datei verarbeiten und sollten eine zwischengespeicherte Kopie nicht länger als 24 Stunden nutzen, außer die Datei ist nicht erreichbar.
Eine 4xx-Antwort erlaubt einem Crawler, alles abzurufen; eine 5xx-Antwort heißt, er muss annehmen, dass alles gesperrt ist.
Die Regeln sind keine Zugriffsberechtigung: Sie sind eine Bitte, und ein aufgeführter Pfad ist öffentlich sichtbar.

Wie schreiben Sie robots.txt-Regeln für KI-Crawler?

Nennen Sie jeden Bot mit seinem Token und entscheiden Sie jede Aufgabe einzeln. Die übliche Haltung ist, in der KI-Suche auffindbar zu bleiben und Inhalte aus dem Training herauszuhalten: Such- und Nutzerabruf-Agenten erlauben, die Trainings-Crawler sperren, die Sie ablehnen.

Jeder Host hat seine eigene Datei, docs.example.com braucht also eigene Regeln; Anthropic bittet Website-Betreiber, seine Regeln jeder Subdomain hinzuzufügen, die abgedeckt sein soll (Anthropic, 7. April 2026).

# Auffindbar in KI-Suche und bei Nutzerabrufen
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# Aus dem Modelltraining herausgehalten
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

Welche robots.txt-Fehler verstecken Sie vor KI-Antworten?

Die teuren passieren meist versehentlich:

Die Such-Agenten (OAI-SearchBot, Claude-SearchBot, PerplexityBot) sperren, obwohl das Training gemeint war.
Eine pauschale Regel unter User-agent: *, die auch KI-Such-Crawler erfasst.
Eine CDN- oder Sicherheitseinstellung, die KI-Bots sperrt, bevor Ihre robots.txt überhaupt gelesen wird.
Regeln auf www, aber nicht auf der Doku- oder Hilfe-Subdomain, die Engines am liebsten zitieren.
Snippet-Steuerungen auf wichtigen Seiten: Google sagt, dass eine Seite für ein Snippet geeignet sein muss, um in AI Overviews oder AI Mode zu erscheinen (Google Search Central).

Was entscheidet robots.txt in einem echten Beispiel?

Sie entscheidet, ob Ihre Seiten überhaupt um Zitierungen konkurrieren können. Im öffentlichen Tesla-Beispiel (4. Okt. 2026) gaben Perplexity 375 und Claude 351 Zitierungen über 25 Käuferfragen; tesla.com bekam davon 3 und 1.

Eine Website, deren robots.txt die Such-Agenten dieser Engines sperrt, gibt selbst das auf. Sie zu erlauben gewinnt allein keine Zitierungen; es bringt Ihre Seiten ins Rennen.

Wie prüfen Sie Ihre robots.txt auf KI-Crawler?

Rufen Sie die Live-Datei aus dem öffentlichen Internet ab, für jeden Host, und durchsuchen Sie sie nach jedem Token. Der kostenlose KI-Crawler-Checker liest Ihre Live-robots.txt und meldet, welche KI-Crawler sie erlaubt oder sperrt, und der Crawler-Zugriff in Proofsource prüft sie zusammen mit der CDN-Ebene und dem gerenderten Text.

Häufige Fragen: robots.txt

Hindert robots.txt KI daran, meine Inhalte zu nutzen?

Nur bei Crawlern, die sie beachten, und erst ab dem Zeitpunkt, zu dem sie sie lesen. Sie ist eine Bitte, kein Schloss, und von Nutzern ausgelöste Abrufer wie Perplexity-User dokumentieren, dass sie sie in der Regel ignorieren.

Entfernt mich das Sperren von GPTBot aus ChatGPT?

Nein. GPTBot ist der Trainings-Crawler von OpenAI. Über die ChatGPT-Suche entscheidet OAI-SearchBot, und laut OpenAI ist jede Einstellung unabhängig.

Wie lange dauert es, bis Änderungen an der robots.txt greifen?

RFC 9309 sagt, dass sich Crawler nicht länger als 24 Stunden auf eine zwischengespeicherte Kopie verlassen sollten, und OpenAI sagt, dass seine Suchsysteme etwa 24 Stunden brauchen, um eine Änderung abzubilden.

Ersetzt llms.txt die robots.txt?

Nein. robots.txt legt Regeln für Crawler fest. llms.txt ist eine vorgeschlagene Leseliste für Sprachmodelle und hat beim Zugriff nichts zu sagen.

Sehen Sie, wo KI Sie auslässt, und was Sie korrigieren sollten.

Sehen Sie, bei welchen Käuferfragen Ihre Marke genannt wird, wer stattdessen genannt wird und was Sie ändern sollten. 200 Antworten. 25 Prompts/Frage. Top-KI-Engines. 2 Tage. Kostenlos. Keine Kreditkarte.

200 Antworten. 25 Prompts/Frage. Top-KI-Engines. 2 Tage. Kostenlos.