Notizen aus der Praxis4 Min. Lesezeit

53 % der Anfragen, die sich auf sechs Websites als GPTBot, ClaudeBot oder PerplexityBot ausgaben, kamen von anderswo

Den Namen eines Bots tippt der Besucher selbst ein. Die Adresse ist der Beweis. Auf der Hälfte der Websites, die wir uns angesehen haben, war der Großteil des KI-Crawler-Verkehrs eine Verkleidung, auf der anderen Hälfte fast nichts davon.

Wir haben 64.222 Anfragen von KI-Crawlern mit den Listen der Hersteller abgeglichen

Sind die Besuche von KI-Crawlern in Ihren Logs echt? Ein Crawler stellt sich mit einem User Agent vor, einer Textzeile wie „GPTBot/1.1“. Diese Zeile kann jeder senden. OpenAI, Anthropic und Perplexity veröffentlichen jeweils die IP-Adressen, die ihre Bots nutzen, und eine Anfrage stammt nur dann von ihnen, wenn Name und Adresse zusammenpassen.

Sechs Websites haben Cloudflare mit Proofsource verbunden, keine davon gehört uns. Für jede Anfrage, die einen KI-Crawler nannte, haben wir die Adresse mit der Liste abgeglichen, die sein Hersteller veröffentlicht. Wir haben den 12. Oktober bis 13. November 2026 genommen, 33 Tage, und fünf Bots: GPTBot, OAI-SearchBot und ChatGPT-User von OpenAI, ClaudeBot von Anthropic und PerplexityBot. Die Zahlen sind Schätzungen aus den Stichprobendaten von Cloudflare.

52,9 % der Anfragen fielen durch, und unter den Crawlern GPTBot am häufigsten

Von 64.222 Anfragen, die einen der fünf Bots nannten, kamen 33.964 von einer Adresse, die sein Hersteller nicht auflistet: 52,9 %. Nach Bot lag der Anteil, der durchfiel, bei 83,0 % für ChatGPT-User, 72,6 % für GPTBot, 61,0 % für ClaudeBot, 34,4 % für OAI-SearchBot und 34,1 % für PerplexityBot.

Googlebot, auf dieselbe Weise mit den Listen von Google geprüft, fiel auf denselben Websites bei 20,7 % der Anfragen durch. Die Namen von KI-Crawlern wurden häufiger gefälscht als der von Google, zumindest hier.

Drei Websites hatten vor allem Fälschungen, drei waren fast sauber

Der Durchschnitt verdeckt die eigentliche Geschichte. Auf drei Websites fielen 69 %, 84 % und 96 % der Anfragen von KI-Crawlern durch die Prüfung. Auf den anderen drei waren es 4 %, 5 % und 7 %. Auf der schlechtesten Website machte ClaudeBot 251 bestätigte Anfragen und 7.144, die durchfielen.

Ein einzelner Richtwert dafür, „wie viel KI-Bot-Verkehr gefälscht ist“, sagt also wenig. Ihre eigene Website kann an jedem der beiden Enden liegen, und nur eine Prüfung Ihres eigenen Verkehrs zeigt Ihnen, an welchem.

200 von 253 durchgefallenen Adressen gaben sich auch als Bot eines anderen Unternehmens aus

Cloudflare liefert uns bis zu drei Beispieladressen pro Bot, Website und Tag. Ohne unsere eigenen Server fielen 253 Beispieladressen durch, während sie sich als einer der fünf Bots ausgaben. 200 davon gaben sich bei einer anderen Anfrage auch als Bot eines anderen Unternehmens aus, und 168 als Bots von drei oder mehr Unternehmen. Eine Adresse nutzte 12 verschiedene Bot-Namen von neun Unternehmen.

Kein echter Crawler macht das. GPTBot kommt aus der Liste von OpenAI und Googlebot aus der von Google. Eine Adresse, die beides ist, gehört jemandem, der Namen durchprobiert, bis einer durchkommt, meist von gemieteten Cloud-Servern aus.

Die Listen übersehen manchen echten Verkehr, also prüfen Sie jede Liste

In die andere Richtung ist die Prüfung nicht perfekt. Claude-User, der Agent, mit dem Claude eine Seite liest, nach der ein Nutzer gefragt hat, fiel auf diesen Websites bei 97,5 % der Anfragen durch. Etwa die Hälfte der durchgefallenen Stichproben kam aus 160.79.104.0/21, einem Bereich, den Anthropic auf seiner Seite zu den API-IP-Adressen als Quelle seiner ausgehenden Web-Fetch- und Web-Search-Aufrufe angibt, nicht auf seiner Crawler-Liste.

Diese Besuche sind sehr wahrscheinlich echt, und eine Prüfung nur gegen die Crawler-Liste markiert sie als gefälscht. Deshalb haben wir Claude-User aus den 52,9 % herausgelassen. Wenn Sie von Hand prüfen, nehmen Sie jeden Bereich, den ein Unternehmen für seine Abrufdienste veröffentlicht, nicht nur die Crawler-Datei.

Was wir tun würden

  • Zählen Sie Besuche von KI-Crawlern nach bestätigter Adresse, nicht nach Name. Ein Dashboard, das Namen zählt, kann zu mehr als der Hälfte aus Verkleidung bestehen.
  • Nutzen Sie die Liste jedes Herstellers: openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json, claude.com/crawling/bots.json plus die API-Bereiche von Anthropic und perplexity.ai/perplexitybot.json.
  • Wenn Ihre Firewall Bots nach Namen durchlässt, gleichen Sie auch die Adresse ab. Die Dokumentation von Perplexity zeigt eine Cloudflare-Regel, die jeden User Agent mit seinen IP-Bereichen verknüpft.
  • Sperren Sie einen Bot nicht wegen seiner Hochstapler über den Namen. Die Fälschungen sind nicht der Bot, und wer den echten OAI-SearchBot oder PerplexityBot sperrt, bleibt aus deren Suchergebnissen draußen.

Wie Proofsource es zeigt

Wenn eine Website Cloudflare verbindet, gleicht Proofsource die Adresse jeder Anfrage eines KI-Crawlers mit der Liste ab, die sein Hersteller veröffentlicht, und zeigt bestätigte und durchgefallene Anfragen für jeden Bot getrennt. Bots, deren Hersteller keine Liste veröffentlichen, werden als nicht prüfbar angezeigt, statt als echt oder gefälscht gezählt zu werden. Unsere Prüfung hat die oben beschriebene Lücke bei Claude-User, und wir nehmen die API-Bereiche von Anthropic auf.

Wo wir falsch liegen könnten

Sechs Websites sind eine kleine Stichprobe, und sie haben Cloudflare mit einem Tool für Sichtbarkeit verbunden, sehen also vielleicht nicht wie die durchschnittliche Website aus. Die Spanne zwischen ihnen zählt mehr als die 52,9 %.

Eine Liste kann veraltet oder unvollständig sein, wie Claude-User zeigt. Manche Fehlschläge bei anderen Bots könnten echter Verkehr von noch nicht gelisteten Adressen sein. Die Adressen, die sich als mehrere Unternehmen ausgaben, machen das für die meisten unwahrscheinlich.

Unsere eigene Website-Prüfung sendet einige Anfragen unter diesen Bot-Namen. Höchstens 300 könnten in diesen Zeitraum fallen; ohne sie alle bleiben immer noch 52,7 %.

Anfragen sind nicht unabhängig, und ein einzelner fleißiger Scraper kann die Zahl einer Website verschieben. Ein Bericht von außen, eine einzelne neue Website über zwei Wochen, fand 6 von 33 angeblichen Besuchen von KI-Assistenten echt. Das ist eine andere Website und eine andere Methode, und sie weist in dieselbe Richtung.

Woher die externen Zahlen stammen

  1. Overview of OpenAI Crawlers · OpenAI
  2. Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
  3. IP addresses · Anthropic
  4. Perplexity Crawlers · Perplexity
  5. Verify Requests from Google Crawlers and Fetchers · Google
  6. 81.8% Of My 'AI Assistant' Traffic Was Fake. The Googlebot Number Was Worse · Search Engine Journal
Alle Beiträge

Fragen

Sind die Besuche von KI-Crawlern in meinen Logs echt?

Prüfen Sie die Adresse, nicht den Namen. Auf sechs Websites kamen vom 12. Oktober bis 13. November 2026 52,9 % der Anfragen, die einen Bot von OpenAI, Anthropic oder Perplexity nannten, von Adressen, die diese Unternehmen nicht veröffentlichen. Der Anteil reichte von 4 % auf einer Website bis 96 % auf einer anderen.

Wie prüfe ich, ob eine GPTBot-Anfrage wirklich von OpenAI kam?

Gleichen Sie die IP-Adresse der Anfrage mit der Liste ab, die OpenAI unter openai.com/gptbot.json veröffentlicht. OpenAI veröffentlicht eigene Listen für OAI-SearchBot und ChatGPT-User, Anthropic und Perplexity veröffentlichen ihre eigenen, und Google dokumentiert Reverse DNS und IP-Listen für seine Crawler.

Sollte ich KI-Crawler sperren, die bei der Prüfung durchfallen?

Sperren Sie die durchgefallenen Adressen, wenn Sie möchten, aber nicht den Bot-Namen. Wer OAI-SearchBot oder PerplexityBot über den Namen sperrt, sperrt auch den echten Crawler aus, und laut diesen Unternehmen bleiben Ihre Seiten dann aus ihren Suchantworten draußen.

Ihre eigenen Zahlen schlagen unseren besten Beitrag.

Die Shortlist in Ihrer Kategorie entsteht gerade, ob jemand diese Seite liest oder nicht. Eine kostenlose Testphase mit 25 Fragen auf vier Engines, heute, zeigt Ihnen, ob Ihr Name darauf steht.

100 Antworten. 25 Prompts/Frage. Top-KI-Engines. Kostenlos.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI