AI クローラーと Googlebot のための robots.txt チェッカー

結果はここに表示されます。何も保存されず、AI モデルも使いません。robots.txt をそのまま読むだけです。

• GPTBot · OpenAI · 学習

  OpenAIのモデルの学習用にページを収集します。

• OAI-SearchBot · OpenAI · 検索

  ChatGPT 検索が引用できるようにページをインデックス登録します。

• ChatGPT-User · OpenAI · ユーザーによる取得

  ChatGPT のユーザーが求めたときにページを開きます。

• ClaudeBot · Anthropic · 学習

  Claude モデルの学習用にページを収集します。

• Claude-SearchBot · Anthropic · 検索

  Claude が検索回答で引用できるようにページをインデックス登録します。

• Claude-User · Anthropic · ユーザーによる取得

  Claude のユーザーが求めたときにページを開きます。

• anthropic-ai · Anthropic · 学習

  多くの robots.txt ファイルにいまも記載されている、Anthropic の古いトークンです。

• PerplexityBot · Perplexity · 検索

  Perplexity が回答で引用できるようにページをインデックス登録します。

• Perplexity-User · Perplexity · ユーザーによる取得

  Perplexity のユーザーが求めたときにページを開きます。

• Google-Extended · Google · 学習

  Googlebot がクロールしたページを Gemini が学習に使えるかどうかを決めます。検索には影響しません。

• Googlebot · Google · 検索

  Google 検索。AI Overviews と AI Mode の情報源です。

• Bingbot · Microsoft · 検索

  Bing 検索。Copilot の回答が参照するインデックスです。

• Applebot-Extended · Apple · 学習

  Applebot がクロールしたページを Apple がモデルの学習に使えるかどうかを決めます。

• CCBot · Common Crawl · 学習

  多くのモデルが学習に使うオープンな Common Crawl データセットを構築しています。

• Meta-ExternalAgent · Meta · 学習

  Meta AI のモデルの学習用にページを収集します。

• Bytespider · ByteDance · 学習

  ByteDanceのモデルの学習用にページを収集します。

ルールは RFC 9309 に従います。クローラーは自分を名指しするグループに従い、なければ * グループに従います。最も長く一致するルールが優先され、同点なら Allow が優先されます。判定はホームページに対するものです。学習用クローラーは将来のモデルに使われ、検索用クローラーは AI の回答が今日あなたを引用できるかを決め、ユーザーフェッチは誰かがアシスタントにページを開くよう頼んだときに発生します。

robots.txt はアクセスの半分にすぎません。CDN のボット設定は、robots.txt が許可したクローラーでも拒否できますが、このチェックではそれは見えません。Proofsource の クローラーアクセス は、各クローラーとしてページをリクエストして確かめます。GPTBot をブロックしても ChatGPT から消えない理由 を読む、llms.txt バリデーター でファイルをチェックする、または AI可視性ガイド から始めてください。