GPTBot とは?
GPTBot は、OpenAI の生成AI基盤モデルの学習に使われる可能性のあるコンテンツを収集する、OpenAI のウェブクローラーです。 OpenAI が文書化している4つのユーザーエージェントの1つで、学習を役割とする唯一のものです。ブロックすると、OpenAI にページを学習に使わないよう伝えることになりますが、ChatGPT の検索から外れるわけではありません。それは OAI-SearchBot の役割です。
GPTBot のユーザーエージェント文字列は?
GPTBot はプロダクトトークン GPTBot で名乗っており、robots.txt のグループで指定すべきなのもこのトークンです。OpenAI はバージョン番号が変わることがあると注記しているので、ログでは文字列全体ではなくトークンで照合してください。また、GPTBot が robots.txt を取得するときは、文字列に robots.txt の目印を加える場合があり、そうしたリクエストを見分けられるとしています。
ログ行の名前は、どんなスクレイパーでもコピーできます。リクエストが本物かを確かめるには、IP を OpenAI が openai.com/gptbot.json で公開しているリストと照合してください。
OpenAI のドキュメントに記載されている完全な文字列は次のとおりです(OpenAI のクローラードキュメント、2026年10月15日閲覧)。
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotGPTBot がすること、しないことは?
GPTBot は、OpenAI の生成 AI 基盤モデルの学習に使われる可能性のあるコンテンツをクロールします。OpenAI が述べている役割はそれだけです。robots.txt でブロックすると、サイトのコンテンツをその学習に使わないよう示すことになります。
可視性にとっては、しないことのほうが重要です。
- ページが ChatGPT の検索に表示されるかどうかは決めません。OpenAI はそれを OAI-SearchBot と結び付けています。
- 誰かが ChatGPT にページについて尋ねたときにページを開くエージェントでもありません。それは ChatGPT-User です。
- そのルールはほかから独立しています。OpenAI は、robots.txt の各設定はそれぞれ単独で機能するとしています。
- GPTBot と OAI-SearchBot の両方を許可すると、OpenAI は両方の目的に1回のクロールを使う場合があるとしています。
GPTBot は OAI-SearchBot や ChatGPT-User とどう違うのですか?
3つは役割が違うため、robots.txt の1行でほかを代用することはできません。サイトを ChatGPT から外せると信じて GPTBot をブロックする、よく見かけるルールの背景にあるのがこの混同です。GPTBot をブロックしても ChatGPT から外れるわけではありません。
| エージェント | 役割 | ブロックした場合 |
|---|---|---|
| GPTBot | OpenAI の基盤モデルの学習に使われる可能性のあるコンテンツをクロール | コンテンツを学習に使わないよう示す |
| OAI-SearchBot | ChatGPT の検索機能でウェブサイトを表示 | ChatGPT の検索回答には表示されない(ナビゲーション用のリンクは表示されうる) |
| ChatGPT-User | ユーザーが ChatGPT やカスタム GPT に尋ねたとき、または GPT Actions を通じてページを訪問 | ユーザーが訪問を始めたため、robots.txt のルールが適用されない場合があると OpenAI はしている |
| OAI-AdsBot | ChatGPT に広告として提出されたランディングページの安全性を確認 | ChatGPT 広告を出していなければ無関係。提出された広告ページだけを訪問する |
robots.txt で GPTBot をブロック・許可するには?
サイトのルートにある robots.txt で、GPTBot を独立したグループとして指定します。よくある選択は、GPTBot をブロックして OAI-SearchBot を許可すること、つまり学習には「いいえ」、ChatGPT の検索には「はい」です。
OpenAI によれば、robots.txt の変更が検索結果に反映されるまで約24時間かかることがあります。ルールはエッジで上書きされることもあります。CDN やファイアウォールのボット設定が、robots.txt で許可したエージェントをブロックしてしまう場合です。無料の AI クローラーチェッカーで両方を確認してください。
# 学習には「いいえ」
User-agent: GPTBot
Disallow: /
# ChatGPT の検索には「はい」
User-agent: OAI-SearchBot
Allow: /ChatGPT に引用されることにとって、これは何を意味しますか?
公開されている Tesla の例(2026年10月4日)では、ChatGPT はほかのエンジンよりはるかに頻繁にブランド自身のサイトを引用しました。購買者の質問25件で93件中12回、約13%が tesla.com で、ほかの3つのエンジンは合わせて915件中5回でした。
これらのリンクは ChatGPT の検索機能から来ており、OpenAI はそれを GPTBot ではなく OAI-SearchBot と結び付けています。GPTBot をブロックしても影響はなく、OAI-SearchBot をブロックすると影響が出ます。ChatGPT がブランドを選ぶ仕組みをご覧ください。
GPTBotについてのよくある質問
GPTBot をブロックすると、サイトは ChatGPT から消えますか?
いいえ。GPTBot は学習用のクローラーです。OpenAI は、OAI-SearchBot を拒否したサイトは ChatGPT の検索回答に表示されないとしていますが、GPTBot にはそのような役割はありません。robots.txt の各設定は独立しています。
GPTBot をブロックすると、OpenAI がすでに収集したコンテンツは削除されますか?
OpenAI のクローラーのページは、GPTBot のルールを、コンテンツを学習に使わないよう示すシグナルと説明しています。ルールを追加する前に収集されたコンテンツについては何も述べていないので、削除されるとは考えないでください。
リクエストが本当に GPTBot からのものかはどうすればわかりますか?
送信元 IP を、OpenAI が openai.com/gptbot.json で公開しているリストと照合してください。ユーザーエージェント文字列だけなら、どんなスクレイパーでもコピーできます。
GPTBot は ChatGPT-User と同じですか?
いいえ。ChatGPT-User は、人が ChatGPT やカスタム GPT に何かを尋ねたときにページを訪問するもので、OpenAI は自動クロールには使われないとしています。ユーザーが訪問を始めるため、robots.txt のルールが適用されない場合があります。
関連用語
- OAI-SearchBot
OAI-SearchBot は、ChatGPT の検索機能にウェブサイトを表示するための OpenAI のクローラーで、これを拒否したサイトは ChatGPT の検索回答に表示されません。
- ClaudeBot
ClaudeBot は、Anthropic の Claude モデルの学習に使われる可能性のあるウェブコンテンツを収集する、Anthropic のウェブクローラーです。
- PerplexityBot
PerplexityBot は、ウェブページをインデックスして Perplexity の検索結果に表示・リンクできるようにする、Perplexity のクローラーです。
実例:Tesla、公開されているAIの回答、2026年10月4日:Proofsource による Tesla の初回スキャン。購買者の質問25問とブランドの質問5問を、4つのエンジンそれぞれで1問につき1回ずつ質問。1ブランドの小さなサンプルで、ベンチマークではなく例として示しています。
AI があなたを外している場所と、改善すべき点を確認。
どの購買者の質問があなたのブランドに言及しているか、代わりにどのブランドに言及しているか、何を改善すべきかを確認。200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。 カード不要。