199サイトを robots.txt とサーバーの両方で確認しました
自社サイトがどのAIクローラーをブロックしているか、どう確認すればよいでしょうか。多くのチェッカーは、私たちの無料ツールも含めて、robots.txt を読むところで止まります。このファイルの標準である RFC 9309 は、その限界をはっきり書いています。「これらのルールはアクセス認可の一形態ではありません」。ルールはクローラーに立ち入らないよう求めるだけです。リクエストがページを受け取れるかどうかは、サーバー、CDN、ファイアウォールが決めます。
Proofsource は、追跡しているすべてのブランドのサイトを監査しています。2026年10月5日から11月20日までの各サイトの最新の監査を使いました。自社とテスト用のドメインを除いた199サイトです。各監査では、AIクローラーごとに robots.txt を読み、続けてクローラーごとに1回ずつ、そのクローラーが公開している User-Agent を送ってトップページを要求します。サーバーがページを返したか、401、403、429、またはボットチャレンジで応答したかを記録します。
サーバーは32サイトで GPTBot を拒否し、robots.txt がブロックしていたのは12サイト
GPTBot を名乗るリクエストを、199サイトのうち32サイトのサーバーが拒否しました。16.1%(11.6%から21.8%)です。robots.txt で GPTBot を不許可にしていたのは12サイト(6.0%)でした。
この32サイトのうち21サイトでは、robots.txt は私たちが確認したすべてのAIクローラーを許可していました。ファイルだけを確認していたら、この21サイトすべてに「AIに開かれている」と伝えていたことになります。
逆のケースも1件ありました。あるサイトは robots.txt で GPTBot を不許可にしていましたが、サーバーはそれでもページを返しました。ファイルはどちらの方向でも、お願いにすぎません。
サーバー側のブロックの多くは学習用クローラーを対象にし、検索用は通していた
20サイトでは、サーバーが GPTBot を拒否しつつ OAI-SearchBot と ChatGPT-User には応答しており、そのうち15サイトは ClaudeBot も拒否していました。この分かれ方は意図して選ばれたものに見えます。OpenAI のクローラーに関するドキュメントは、各クローラーを別々の設定として扱っています。GPTBot は学習データを集め、OAI-SearchBot は ChatGPT search に表示するページを見つけます。前者を拒否しても、後者から外れることはありません。
13サイトが、ページを回答に載せるクローラーを拒否していた
引用されるために重要なのは、検索用とユーザー用のエージェントです。13サイト(6.5%)が OAI-SearchBot、ChatGPT-User、PerplexityBot のうち少なくとも1つを拒否していました。robots.txt でそれらを不許可にしていたのは、13サイトのうち1サイトだけでした。
10サイトは、私たちが送ったすべてのAIクローラーを拒否しました。そのうち7サイトは、通常のエラーページではなく Cloudflare のボットチャレンジで応答しました。OpenAI によると、OAI-SearchBot をオプトアウトしたサイトは ChatGPT search の回答に表示されません。また表示を望むサイトには、robots.txt でその名前を許可するだけでなく、公開している IP 範囲も許可するよう求めています。
こうしたブロックの一部は、おそらく誰も手で書いていない
Cloudflare は2024年9月にAIクローラーをワンクリックでブロックするオプションを追加し、100万を超える顧客がこれを有効にしたとしています。2025年7月1日からは、新しいドメインすべてに対し、登録時にAIクローラーを許可するかどうかを尋ねています。ダッシュボードで一度選んだ設定や、アカウントを設定した誰かが選んだ設定は、robots.txt には現れません。クローラーが拒否されていて、チームの誰もそれを決めた覚えがないなら、まずそこを確認してください。
10分で両方を確認する
- まず回答用のクローラーについて robots.txt を読みます。OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot です。学習用のクローラー(GPTBot と ClaudeBot)については、別に判断します。
- curl でトップページを要求し、User-Agent を各クローラーの名前にします。403、429、またはチャレンジページが返れば、robots.txt の内容にかかわらず、サーバーが拒否しています。
- CDN のボットとAIクローラーの設定を開き、各クローラーがどう設定されているかを確認します。Cloudflare では、AIクローラーの管理画面と、AIボットをブロックするルールの両方を確認してください。
- ファイアウォールが検証済みのボットだけを通す設定なら、AI企業が公開している IP 範囲が許可リストに入っていることを確認し、ログでそれらのクローラーへの403を探します。
Proofsource の確認方法
Proofsource のサイト監査は毎回、AIクローラーごとに robots.txt を読み、それぞれのクローラーとしてトップページを要求します。robots.txt が許可しているのにサーバーが拒否した場合、最初のスキャンがそれを独立した1行で、変更すべき設定とともに報告します。
この分析が間違っている可能性
私たちのリクエストは私たちのサーバーから送られたもので、OpenAI、Anthropic、Perplexity のサーバーからではありません。リクエストの送信元を確認するファイアウォールは、私たちのリクエストを拒否しつつ、本物のクローラーには応答するかもしれません。これはボットチャレンジに最も当てはまります。拒否は CDN の設定を開く理由として扱い、ChatGPT があなたのサイトを読めないという証拠とは考えないでください。
クローラーごとに1回、トップページだけに、ある一時点でリクエストしました。拒否のうち5件は429のレート制限で、時間がたてば解消することがあります。他のページには別のルールがあるかもしれません。
対象は Proofsource で追跡しているブランドの199サイトで、ウェブ全体のランダムサンプルではありません。初期の監査は5つのクローラー、後の監査は8つのクローラーを送ったため、Claude-SearchBot、Claude-User、Perplexity-User の数は189サイトが対象です。各サイトのログは見ていないため、本物のクローラーの訪問にどう応答したかは分かりません。