現場ノート4分で読めます

サーバーがAIクローラーを拒否した32サイトのうち21サイトでは、robots.txt は許可していた

robots.txt のチェッカーはファイルを読んで終わります。クローラーが実際にページを受け取れるかを決めるのはサーバー、CDN、ファイアウォールで、今回のサンプルでは robots.txt の約3倍の頻度でクローラーを拒否していました。

199サイトを robots.txt とサーバーの両方で確認しました

自社サイトがどのAIクローラーをブロックしているか、どう確認すればよいでしょうか。多くのチェッカーは、私たちの無料ツールも含めて、robots.txt を読むところで止まります。このファイルの標準である RFC 9309 は、その限界をはっきり書いています。「これらのルールはアクセス認可の一形態ではありません」。ルールはクローラーに立ち入らないよう求めるだけです。リクエストがページを受け取れるかどうかは、サーバー、CDN、ファイアウォールが決めます。

Proofsource は、追跡しているすべてのブランドのサイトを監査しています。2026年10月5日から11月20日までの各サイトの最新の監査を使いました。自社とテスト用のドメインを除いた199サイトです。各監査では、AIクローラーごとに robots.txt を読み、続けてクローラーごとに1回ずつ、そのクローラーが公開している User-Agent を送ってトップページを要求します。サーバーがページを返したか、401、403、429、またはボットチャレンジで応答したかを記録します。

サーバーは32サイトで GPTBot を拒否し、robots.txt がブロックしていたのは12サイト

GPTBot を名乗るリクエストを、199サイトのうち32サイトのサーバーが拒否しました。16.1%(11.6%から21.8%)です。robots.txt で GPTBot を不許可にしていたのは12サイト(6.0%)でした。

この32サイトのうち21サイトでは、robots.txt は私たちが確認したすべてのAIクローラーを許可していました。ファイルだけを確認していたら、この21サイトすべてに「AIに開かれている」と伝えていたことになります。

逆のケースも1件ありました。あるサイトは robots.txt で GPTBot を不許可にしていましたが、サーバーはそれでもページを返しました。ファイルはどちらの方向でも、お願いにすぎません。

サーバー側のブロックの多くは学習用クローラーを対象にし、検索用は通していた

20サイトでは、サーバーが GPTBot を拒否しつつ OAI-SearchBot と ChatGPT-User には応答しており、そのうち15サイトは ClaudeBot も拒否していました。この分かれ方は意図して選ばれたものに見えます。OpenAI のクローラーに関するドキュメントは、各クローラーを別々の設定として扱っています。GPTBot は学習データを集め、OAI-SearchBot は ChatGPT search に表示するページを見つけます。前者を拒否しても、後者から外れることはありません。

13サイトが、ページを回答に載せるクローラーを拒否していた

引用されるために重要なのは、検索用とユーザー用のエージェントです。13サイト(6.5%)が OAI-SearchBot、ChatGPT-User、PerplexityBot のうち少なくとも1つを拒否していました。robots.txt でそれらを不許可にしていたのは、13サイトのうち1サイトだけでした。

10サイトは、私たちが送ったすべてのAIクローラーを拒否しました。そのうち7サイトは、通常のエラーページではなく Cloudflare のボットチャレンジで応答しました。OpenAI によると、OAI-SearchBot をオプトアウトしたサイトは ChatGPT search の回答に表示されません。また表示を望むサイトには、robots.txt でその名前を許可するだけでなく、公開している IP 範囲も許可するよう求めています。

こうしたブロックの一部は、おそらく誰も手で書いていない

Cloudflare は2024年9月にAIクローラーをワンクリックでブロックするオプションを追加し、100万を超える顧客がこれを有効にしたとしています。2025年7月1日からは、新しいドメインすべてに対し、登録時にAIクローラーを許可するかどうかを尋ねています。ダッシュボードで一度選んだ設定や、アカウントを設定した誰かが選んだ設定は、robots.txt には現れません。クローラーが拒否されていて、チームの誰もそれを決めた覚えがないなら、まずそこを確認してください。

10分で両方を確認する

  • まず回答用のクローラーについて robots.txt を読みます。OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot です。学習用のクローラー(GPTBot と ClaudeBot)については、別に判断します。
  • curl でトップページを要求し、User-Agent を各クローラーの名前にします。403、429、またはチャレンジページが返れば、robots.txt の内容にかかわらず、サーバーが拒否しています。
  • CDN のボットとAIクローラーの設定を開き、各クローラーがどう設定されているかを確認します。Cloudflare では、AIクローラーの管理画面と、AIボットをブロックするルールの両方を確認してください。
  • ファイアウォールが検証済みのボットだけを通す設定なら、AI企業が公開している IP 範囲が許可リストに入っていることを確認し、ログでそれらのクローラーへの403を探します。

Proofsource の確認方法

Proofsource のサイト監査は毎回、AIクローラーごとに robots.txt を読み、それぞれのクローラーとしてトップページを要求します。robots.txt が許可しているのにサーバーが拒否した場合、最初のスキャンがそれを独立した1行で、変更すべき設定とともに報告します。

この分析が間違っている可能性

私たちのリクエストは私たちのサーバーから送られたもので、OpenAI、Anthropic、Perplexity のサーバーからではありません。リクエストの送信元を確認するファイアウォールは、私たちのリクエストを拒否しつつ、本物のクローラーには応答するかもしれません。これはボットチャレンジに最も当てはまります。拒否は CDN の設定を開く理由として扱い、ChatGPT があなたのサイトを読めないという証拠とは考えないでください。

クローラーごとに1回、トップページだけに、ある一時点でリクエストしました。拒否のうち5件は429のレート制限で、時間がたてば解消することがあります。他のページには別のルールがあるかもしれません。

対象は Proofsource で追跡しているブランドの199サイトで、ウェブ全体のランダムサンプルではありません。初期の監査は5つのクローラー、後の監査は8つのクローラーを送ったため、Claude-SearchBot、Claude-User、Perplexity-User の数は189サイトが対象です。各サイトのログは見ていないため、本物のクローラーの訪問にどう応答したかは分かりません。

外部の数値の出どころ

  1. RFC 9309: Robots Exclusion Protocol · IETF
  2. Overview of OpenAI Crawlers · OpenAI
  3. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large · Cloudflare
  4. GPTBot などの AI クローラー向け無料 robots.txt チェッカー · Proofsource
すべてのノート

質問

robots.txt でAIクローラーをブロックできますか?

立ち入らないよう求めることはでき、主要なAI企業はそれに従うとしていますが、リクエスト自体は止められません。199サイトの監査では、1サイトが robots.txt で GPTBot を不許可にしていましたが、サーバーはそれでもページを返しました。

Cloudflare が ChatGPT をブロックしているかどうか、どう分かりますか?

User-Agent を OAI-SearchBot にしてトップページを要求し、403やチャレンジページが返るかを確認したうえで、Cloudflare のAIクローラー設定を読んでください。今回のサンプルでは、すべてのAIクローラーを拒否した10サイトのうち7サイトが Cloudflare のボットチャレンジで拒否していました。

GPTBot をブロックすると ChatGPT から消えますか?

ChatGPT search からは消えません。OpenAI は GPTBot(学習)と OAI-SearchBot(検索)を別々の設定として説明しています。確認した199サイトのうち20サイトでは、サーバーが GPTBot を拒否しつつ OAI-SearchBot には応答していました。

あなた自身の数値が当社の最高の記事を上回ります。

あなたのカテゴリーの候補リストは、このページを誰が読もうと読むまいと、今まさに書かれています。4つのエンジンで25件の質問を今日尋ねる無料トライアルで、そこにあなたの名前があるかがわかります。

100件の回答。25 Prompts/質問。主要AIエンジン。無料。ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI