OpenAI は4つのエージェントを送り、ChatGPT の検索を左右するのは1つだけ
GPTBot を拒否する robots.txt のスニペットが出回っています。多くの人がそれを貼り付け、ChatGPT の問題は片付いたと感じました。片付いたのは1つの問題です。ただ、その問題ではありません。
OpenAI は4つのユーザーエージェントを文書化しており、それぞれに独自の役割があります。GPTBot は、基盤モデルの学習に使われる可能性のあるコンテンツをクロールします。OAI-SearchBot は ChatGPT の検索機能でサイトを表示するために使われるもので、OpenAI 自身のページには、これを拒否したサイトは ChatGPT の検索の回答に表示されないと書かれています。ただしナビゲーション用のリンクとしては表示されることがあります。ChatGPT-User は、人が ChatGPT に何かを尋ねたときにページを取得するもので、ユーザーが起点なので robots.txt のルールが適用されない場合があると OpenAI は述べています。OAI-AdsBot は広告として提出されたページだけを訪れます。
OpenAI は、各設定が独立していると明言しています。OAI-SearchBot を許可して GPTBot を拒否することができ、それは見つけてもらうことにはイエス、学習データになることにはノーという意思表示です。ほとんどの企業にとって妥当な立場ですが、私たちが読んだ robots.txt でそれを実際に表しているものはほぼありません。どちらにしても1日ほど待ちましょう。OpenAI によると、robots.txt の変更がシステムに反映されるまでおよそ24時間かかります。
Anthropic は3つに分け、Perplexity は人が尋ねたときにはあなたの指定を無視する
Anthropic は3つを運用しています。ClaudeBot は学習に使われる可能性のあるウェブコンテンツを収集します。Claude-SearchBot は検索結果を改善するためにコンテンツをインデックスします。Claude-User は、誰かが Claude に質問したときにページを取得します。Anthropic のヘルプページは、それぞれの帰結をはっきり書いています。Claude-SearchBot を止めればコンテンツは検索用にインデックスされなくなり、Claude-User を止めれば、ユーザーの質問に応じて Claude があなたのページを取得しなくなります。
Perplexity は2つを運用しています。PerplexityBot は Perplexity の結果でサイトを表示しリンクするためのもので、学習データの収集には一切使われません。Perplexity-User は誰かが質問したときにページを訪れるもので、Perplexity のドキュメントは本音をそのまま書いています。ユーザーが取得を求めたので、そのフェッチャーは一般に robots.txt を無視する、と。
合計すると、「AIボットを一律ブロック」というルールは奇妙なところに着地します。上の9つのエージェントのうち、人が止めようとしているものの多くは、購買者の目の前にあなたのリンクを置くもので、そのうちの1つはそもそも robots.txt に耳を傾けていません。
Google-Extended は AI Overviews と何の関係もない
これが最も大きな損失を生んでいるものです。Google-Extended は、独自のユーザーエージェント文字列を持たない robots.txt のトークンで、クロールしたコンテンツを今後の Gemini モデルの学習や Gemini アプリのグラウンディングに使うかどうかを制御します。Google のクローラーのドキュメントは、それが Google 検索へのサイトの掲載に影響せず、ランキングのシグナルとしても使われないとはっきり書いています。ブロックしても AI Overviews には何の影響もありません。
AI Overviews と AI Mode は検索です。Google はサイト所有者向けのガイダンスで自らそう述べています。AIは検索に組み込まれており、制御するのは Googlebot 向けの robots.txt の指示だ、と。そして、多くの人がつまずく一文が続きます。AI Overviews や AI Mode で補足リンクとして表示される対象になるには、ページがインデックスされ、スニペット付きで表示できる状態である必要があります。スクレイパー対策のために、あなたや前任者が nosnippet、data-nosnippet、厳しい max-snippet を設定していたなら、自らAIの回答から外れたことになり、アナリティクスのどこにもそれは報告されませんでした。
同じ Google のガイドは、これらの機能に表示されるために新しい機械可読ファイルやAI用テキストファイルを作る必要はないとしています。私たちはしばらく前から、llms.txt を改善策として扱わないよう伝えてきました。私たちが見ているエンジンのどれも、それをランキングのシグナルとして文書化していないからです。その一般的な形を Google が自らの言葉で述べているのは役に立ちます。
CDN がすでに代わりに答えを出しているかもしれない
2025年7月1日、Cloudflare は、対価を払わないAIクローラーをデフォルトでブロックするよう変更すると発表し、利用者に代わって配信し、新しいボットが現れるたびに更新するマネージドの robots.txt を提供しました。Cloudflare に新しく登録するすべてのサイトは、今や設定時にこの選択を求められます。
ですから多くの企業にとって、「自社の robots.txt は ChatGPT について何と言っているか」への正直な答えは「分からない、CDN が書いている」です。WAF のルールは、同じことをもっと徹底して行います。リクエストはオリジンに届かないので、起きなかった訪問はログにもアナリティクスにも記録されません。ページは今も上位に表示され、読み込まれ、あなたの目には正しく見えます。
そして、届いた取得でも、文字を含んだ状態で返ってくる必要があります。クライアント側でレンダリングされるページは、これらのエージェントに200と空のコンテナを渡します。あなたには動いているページに見え、彼らには何もないように見えるのです。
半日で決着が付く6つの確認
このどれにもツールは必要ありません。必要なのは curl、ログ、1時間です。私たちはこれを、Cloudflare のクローラー分析を裏付けにしたボットのアクセス可能性の監査として実行していますが、どの項目も自分でできます。
- リポジトリからではなく公開インターネット経由で robots.txt を取得し、各トークンを名前で検索しましょう。OAI-SearchBot、GPTBot、ChatGPT-User、ClaudeBot、Claude-User、Claude-SearchBot、PerplexityBot、Google-Extended、Googlebot。
- すべてのサブドメインについて行いましょう。docs.example.com と www.example.com は別々のファイル、別々の決定で、引用してほしいのはたいてい docs のサブドメインです。
- 引用してほしいページを、各エージェントの公開されたユーザーエージェント文字列でリクエストし、返ってきたものを読みましょう。空の div を含む200は合格ではなく失敗です。
- CDN と WAF に、今のチームの誰も書いていないマネージドの robots.txt やボットのルールがないか探しましょう。
- 最も重要なページの head に noindex、nosnippet、data-nosnippet、max-snippet がないか確認しましょう。どれもページを AI Overviews の表示対象から人知れず外しうるものです。
- アクセスログをエージェント名で grep し、送信元アドレスを OpenAI、Perplexity、Anthropic が公開している IP 範囲と照合しましょう。ユーザーエージェント文字列は誰でも入力できます。確認になるのはアドレスの範囲です。
この分析が誤っている可能性がある点
上のすべては各エンジンが自社のクローラーを説明したもので、トークンも挙動も変わります。Anthropic のページの日付は2026年4月、Google のクローラーの一覧の最終更新は2026年7月で、OpenAI はページを取得する製品を出すたびにエージェントを追加しています。1行でも変える前に、この記事ではなく最新のドキュメントを読んでください。
robots.txt はお願いです。自社のボットがそれに従うと企業が言うのは方針の表明であって、強制の仕組みではありません。ここにあるフェッチャーのうち2つは、ユーザーが起点のリクエストにはそもそも適用しないと文書化しています。読まれたくないものがあるなら、robots.txt は最初からその道具ではありませんでした。
クローラーを入れても、引用されるわけではありません。アクセスは下限であって答えではないのです。私たちが抽出したカテゴリでは、「おすすめ」の質問で ChatGPT が引用したものの44%がランキング記事だったので、読めることと選ばれることは別々の問題です。私たちの44%は、取ったサンプルでの1回の測定で、定数ではありません。
それでも半日を使う価値はあります。この失敗は、その成り立ちからして静かだからです。起きなかった取得を報告するものは、どこにもありません。
