AIクローラーのリクエスト64,222件を、各社自身のリストと照合した
ログに残るAIクローラーの訪問は本物でしょうか。クローラーはユーザーエージェントで名乗ります。「GPTBot/1.1」のような1行のテキストです。この1行は誰でも送れます。OpenAI、Anthropic、Perplexity はそれぞれ自社のボットが使うIPアドレスを公開しており、名前とアドレスが一致して初めて、そのリクエストは本物といえます。
Cloudflare を Proofsource に接続しているサイトが6つあり、どれも私たちのサイトではありません。AIクローラーを名乗るすべてのリクエストについて、そのアドレスを提供元が公開するリストと照合しました。対象は2026年10月12日から11月13日までの33日間で、ボットは5つです。OpenAI の GPTBot、OAI-SearchBot、ChatGPT-User、Anthropic の ClaudeBot、そして PerplexityBot です。件数は Cloudflare のサンプリングされたリクエストデータからの推計です。
52.9%が確認に失敗し、クローラーの中では GPTBot の失敗が最も多かった
5つのボットのいずれかを名乗るリクエスト64,222件のうち、33,964件は提供元がリストに載せていないアドレスから来ていました。52.9%です。ボット別の失敗の割合は、ChatGPT-User が83.0%、GPTBot が72.6%、ClaudeBot が61.0%、OAI-SearchBot が34.4%、PerplexityBot が34.1%でした。
同じ方法で Google のリストと照合した Googlebot は、同じサイトでリクエストの20.7%が失敗しました。少なくともここでは、AIクローラーの名前のほうが Google の名前より多く偽装されていました。
3つのサイトはほとんどが偽物で、3つはほぼきれいだった
平均では本当の姿が見えません。3つのサイトでは、AIクローラーのリクエストの69%、84%、96%が確認に失敗しました。残りの3つでは4%、5%、7%でした。最も悪いサイトでは、ClaudeBot の確認済みリクエストが251件、失敗が7,144件でした。
そのため、「AIボットのトラフィックのうちどれだけが偽物か」という一つの目安には、あまり意味がありません。自社サイトはどちらの端にもなり得ます。どちらなのかは、自社のトラフィックを確認して初めてわかります。
失敗したアドレス253件のうち200件は、別の会社のボットも名乗っていた
Cloudflare からは、ボット、サイト、日ごとに最大3つのサンプルアドレスが得られます。私たち自身のサーバーを除くと、5つのボットのいずれかを名乗って確認に失敗したサンプルアドレスは253件でした。そのうち200件は別のリクエストで別の会社のボットも名乗っており、168件は3社以上のボットを名乗っていました。あるアドレスは、9社の12種類のボット名を使っていました。
本物のクローラーはそんなことをしません。GPTBot は OpenAI のリストから、Googlebot は Google のリストから来ます。その両方であるアドレスは、通るまで名前を試している誰かで、多くはレンタルのクラウドサーバーからでした。
リストは本物のトラフィックの一部を取りこぼすので、すべてのリストを確認する
この確認は逆方向にも完全ではありません。ユーザーが尋ねたページを Claude が読むときのエージェントである Claude-User は、これらのサイトでリクエストの97.5%が失敗しました。サンプルの失敗の約半分は 160.79.104.0/21 から来ていました。これは Anthropic が API のIPアドレスのページで、外向きのウェブ取得とウェブ検索の呼び出し元として公開している範囲で、クローラーのリストではありません。
これらの訪問はおそらく本物ですが、クローラーのリストだけで確認すると偽物と判定されます。そのため Claude-User は52.9%から除きました。手作業で確認する場合は、クローラーのファイルだけでなく、各社が取得用に公開しているすべての範囲を確認してください。
私たちならどうするか
- AIクローラーの訪問は、名前ではなく確認済みのアドレスで数えましょう。名前で数えるダッシュボードは、半分以上が偽装ということもあり得ます。
- 各社のリストを使いましょう。openai.com/gptbot.json、openai.com/searchbot.json、openai.com/chatgpt-user.json、claude.com/crawling/bots.json と Anthropic の API の範囲、そして perplexity.ai/perplexitybot.json です。
- ファイアウォールが名前でボットを通しているなら、アドレスも照合しましょう。Perplexity 自身のドキュメントには、各ユーザーエージェントとそのIP範囲を組み合わせた Cloudflare のルールが示されています。
- 偽物がしたことを理由に、ボットを名前で遮断しないでください。偽物はそのボットではありません。本物の OAI-SearchBot や PerplexityBot を遮断すると、それぞれの検索結果に載らなくなります。
Proofsource での表示
サイトが Cloudflare を接続すると、Proofsource はAIクローラーの各リクエストのアドレスを提供元が公開するリストと照合し、ボットごとに確認済みと失敗のリクエストを分けて表示します。提供元がリストを公開していないボットは、本物とも偽物とも数えず、確認できないものとして表示します。私たちの確認には上で述べた Claude-User の抜けがあり、Anthropic の API の範囲を追加しているところです。
この分析が誤っている可能性がある点
6サイトは小さなサンプルで、いずれも可視性ツールに Cloudflare を接続したサイトなので、平均的なサイトとは違うかもしれません。52.9%という数字より、サイト間のばらつきのほうが重要です。
Claude-User の例のように、リストが古かったり不完全だったりすることがあります。ほかのボットの失敗の一部は、まだリストに載っていないアドレスからの本物のトラフィックかもしれません。ただ、複数の会社を名乗るアドレスが多いことから、その大半についてはその可能性は低いと考えます。
私たち自身のサイトチェックは、これらのボット名でいくつかのリクエストを送ります。この期間に含まれ得るのは最大300件で、すべて除いても52.7%が残ります。
リクエストは互いに独立しておらず、活発なスクレイパーが1つあるだけでサイトの数字が動くことがあります。外部の報告では、新しいサイト1つを2週間調べたところ、AIアシスタントを名乗る訪問のうち本物は33件中6件でした。サイトも方法も違いますが、同じ方向を示しています。