現場ノート4分で読めます

6つのサイトで GPTBot、ClaudeBot、PerplexityBot を名乗ったリクエストの53%は、別の場所から来ていた

ボットの名前は訪問者が自分で書き込むものです。証拠になるのはアドレスです。調べたサイトの半分ではAIクローラーのトラフィックの大半が偽装で、残りの半分ではほとんど偽装がありませんでした。

AIクローラーのリクエスト64,222件を、各社自身のリストと照合した

ログに残るAIクローラーの訪問は本物でしょうか。クローラーはユーザーエージェントで名乗ります。「GPTBot/1.1」のような1行のテキストです。この1行は誰でも送れます。OpenAI、Anthropic、Perplexity はそれぞれ自社のボットが使うIPアドレスを公開しており、名前とアドレスが一致して初めて、そのリクエストは本物といえます。

Cloudflare を Proofsource に接続しているサイトが6つあり、どれも私たちのサイトではありません。AIクローラーを名乗るすべてのリクエストについて、そのアドレスを提供元が公開するリストと照合しました。対象は2026年10月12日から11月13日までの33日間で、ボットは5つです。OpenAI の GPTBot、OAI-SearchBot、ChatGPT-User、Anthropic の ClaudeBot、そして PerplexityBot です。件数は Cloudflare のサンプリングされたリクエストデータからの推計です。

52.9%が確認に失敗し、クローラーの中では GPTBot の失敗が最も多かった

5つのボットのいずれかを名乗るリクエスト64,222件のうち、33,964件は提供元がリストに載せていないアドレスから来ていました。52.9%です。ボット別の失敗の割合は、ChatGPT-User が83.0%、GPTBot が72.6%、ClaudeBot が61.0%、OAI-SearchBot が34.4%、PerplexityBot が34.1%でした。

同じ方法で Google のリストと照合した Googlebot は、同じサイトでリクエストの20.7%が失敗しました。少なくともここでは、AIクローラーの名前のほうが Google の名前より多く偽装されていました。

3つのサイトはほとんどが偽物で、3つはほぼきれいだった

平均では本当の姿が見えません。3つのサイトでは、AIクローラーのリクエストの69%、84%、96%が確認に失敗しました。残りの3つでは4%、5%、7%でした。最も悪いサイトでは、ClaudeBot の確認済みリクエストが251件、失敗が7,144件でした。

そのため、「AIボットのトラフィックのうちどれだけが偽物か」という一つの目安には、あまり意味がありません。自社サイトはどちらの端にもなり得ます。どちらなのかは、自社のトラフィックを確認して初めてわかります。

失敗したアドレス253件のうち200件は、別の会社のボットも名乗っていた

Cloudflare からは、ボット、サイト、日ごとに最大3つのサンプルアドレスが得られます。私たち自身のサーバーを除くと、5つのボットのいずれかを名乗って確認に失敗したサンプルアドレスは253件でした。そのうち200件は別のリクエストで別の会社のボットも名乗っており、168件は3社以上のボットを名乗っていました。あるアドレスは、9社の12種類のボット名を使っていました。

本物のクローラーはそんなことをしません。GPTBot は OpenAI のリストから、Googlebot は Google のリストから来ます。その両方であるアドレスは、通るまで名前を試している誰かで、多くはレンタルのクラウドサーバーからでした。

リストは本物のトラフィックの一部を取りこぼすので、すべてのリストを確認する

この確認は逆方向にも完全ではありません。ユーザーが尋ねたページを Claude が読むときのエージェントである Claude-User は、これらのサイトでリクエストの97.5%が失敗しました。サンプルの失敗の約半分は 160.79.104.0/21 から来ていました。これは Anthropic が API のIPアドレスのページで、外向きのウェブ取得とウェブ検索の呼び出し元として公開している範囲で、クローラーのリストではありません。

これらの訪問はおそらく本物ですが、クローラーのリストだけで確認すると偽物と判定されます。そのため Claude-User は52.9%から除きました。手作業で確認する場合は、クローラーのファイルだけでなく、各社が取得用に公開しているすべての範囲を確認してください。

私たちならどうするか

  • AIクローラーの訪問は、名前ではなく確認済みのアドレスで数えましょう。名前で数えるダッシュボードは、半分以上が偽装ということもあり得ます。
  • 各社のリストを使いましょう。openai.com/gptbot.json、openai.com/searchbot.json、openai.com/chatgpt-user.json、claude.com/crawling/bots.json と Anthropic の API の範囲、そして perplexity.ai/perplexitybot.json です。
  • ファイアウォールが名前でボットを通しているなら、アドレスも照合しましょう。Perplexity 自身のドキュメントには、各ユーザーエージェントとそのIP範囲を組み合わせた Cloudflare のルールが示されています。
  • 偽物がしたことを理由に、ボットを名前で遮断しないでください。偽物はそのボットではありません。本物の OAI-SearchBot や PerplexityBot を遮断すると、それぞれの検索結果に載らなくなります。

Proofsource での表示

サイトが Cloudflare を接続すると、Proofsource はAIクローラーの各リクエストのアドレスを提供元が公開するリストと照合し、ボットごとに確認済みと失敗のリクエストを分けて表示します。提供元がリストを公開していないボットは、本物とも偽物とも数えず、確認できないものとして表示します。私たちの確認には上で述べた Claude-User の抜けがあり、Anthropic の API の範囲を追加しているところです。

この分析が誤っている可能性がある点

6サイトは小さなサンプルで、いずれも可視性ツールに Cloudflare を接続したサイトなので、平均的なサイトとは違うかもしれません。52.9%という数字より、サイト間のばらつきのほうが重要です。

Claude-User の例のように、リストが古かったり不完全だったりすることがあります。ほかのボットの失敗の一部は、まだリストに載っていないアドレスからの本物のトラフィックかもしれません。ただ、複数の会社を名乗るアドレスが多いことから、その大半についてはその可能性は低いと考えます。

私たち自身のサイトチェックは、これらのボット名でいくつかのリクエストを送ります。この期間に含まれ得るのは最大300件で、すべて除いても52.7%が残ります。

リクエストは互いに独立しておらず、活発なスクレイパーが1つあるだけでサイトの数字が動くことがあります。外部の報告では、新しいサイト1つを2週間調べたところ、AIアシスタントを名乗る訪問のうち本物は33件中6件でした。サイトも方法も違いますが、同じ方向を示しています。

外部の数値の出どころ

  1. Overview of OpenAI Crawlers · OpenAI
  2. Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
  3. IP addresses · Anthropic
  4. Perplexity Crawlers · Perplexity
  5. Verify Requests from Google Crawlers and Fetchers · Google
  6. 81.8% Of My 'AI Assistant' Traffic Was Fake. The Googlebot Number Was Worse · Search Engine Journal
すべてのノート

質問

ログに残るAIクローラーの訪問は本物ですか?

名前ではなくアドレスを確認しましょう。2026年10月12日から11月13日までの6つのサイトでは、OpenAI、Anthropic、Perplexity のボットを名乗るリクエストの52.9%が、各社が公開していないアドレスから来ていました。割合はあるサイトの4%から別のサイトの96%まで幅がありました。

GPTBot のリクエストが本当に OpenAI から来たかを確認するには、どうすればよいですか?

リクエストのIPアドレスを、OpenAI が openai.com/gptbot.json で公開しているリストと照合します。OpenAI は OAI-SearchBot と ChatGPT-User 用に別のリストを公開しており、Anthropic と Perplexity も独自のリストを公開しています。Google は自社のクローラーについて、逆引きDNSとIPリストを説明しています。

確認に失敗したAIクローラーは遮断すべきですか?

失敗したアドレスは遮断してもかまいませんが、ボット名では遮断しないでください。OAI-SearchBot や PerplexityBot を名前で遮断すると本物のクローラーも締め出され、各社によれば、ページがそれぞれの検索の回答に載らなくなります。

関連するメモ

現場ノート4分で読めます

2回の追加の質問のあと、AIの回答に残っていたのは最初に挙げた会社の22%だった

購買者が追加の質問をしても、AIは自社を薦め続けるでしょうか。3問からなる会話180件では、最初の回答の3分の1がどの会社も挙げておらず、最初に挙がった753社のうち3問目の回答に残っていたのは168社だけでした。

現場ノート4分で読めます

競合の名前を入れても、AIが別の会社を説明するのは止まらなかった。カテゴリを入れると、96件中96件で止まった

AIが自社ブランドを別の会社と取り違えないようにするには、どうすればよいのでしょうか。同じブランドについて3通りの尋ね方を試しました。質問に競合の名前を入れても効果はなく、別の会社を説明した回答は5.1%で、名前だけの場合は4.0%でした。効果があったのは、質問にカテゴリを入れることでした。

方法4分で読めます

An offer shown only to AI bots reached buyers 370 times. Here is the honest version of that test

A thread with over 600,000 views described Ramp placing an offer on about 50 pages that only AI bots could see, then counting how often AI assistants passed it on. The lessons are real. The method, words shown to bots and not to people, is the part we would not copy. Here is the same test done in the open.

あなた自身の数値が当社の最高の記事を上回ります。

あなたのカテゴリーの候補リストは、このページを誰が読もうと読むまいと、今まさに書かれています。4つのエンジンで25件の質問を今日尋ねる無料トライアルで、そこにあなたの名前があるかがわかります。

100件の回答。25 Prompts/質問。主要AIエンジン。無料。ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI