Claude-SearchBot とは?

Claude-SearchBot は、Claude の検索結果の品質と関連性を高めるためにウェブを読み取る Anthropic のクローラーです。 Claude-SearchBot は Claude の検索を支えるクローラーです。Claude が参照できる良い検索結果を用意するため、事前にウェブを読みます。これをブロックするのは、学習ではなく検索についての判断です。

200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。 カード不要。

Claude-SearchBot は何をするのか?

Anthropic によると、Claude-SearchBot はユーザー向けの検索結果の質を高めるためにウェブを巡回し、検索回答の関連性と正確性を高めるためにオンラインのコンテンツを分析します。無効にすると、Anthropic のシステムは検索最適化のためにあなたのコンテンツをインデックスできなくなり、Anthropic はユーザーの検索結果でのサイトの可視性と正確性が下がる可能性があるとしています(Anthropic、2026年4月7日)。

Claude-SearchBot はどう振る舞うのか?

Anthropic は 3 つのボットすべてに同じルールを定めています。

  • robots.txt の指示に従います。
  • CAPTCHA などの回避防止策を突破しようとはしません。
  • 非標準の Crawl-delay ルールに対応しており、ブロックせずにボットの速度を落とせます。
  • ルールはホスト単位で適用されるので、サブドメインごとに必要です。
  • IP アドレスでのブロックは、ボットが robots.txt を読めなくなる場合があるため、確実に機能しないことがあります。

学習はブロックしつつ Claude-SearchBot を許可するには?

ボットごとに別のグループを作ります。学習データには貢献せずに Claude に引用されたいブランドにとって、一般的な選択です。公開中のファイルは無料の AI クローラーチェッカー で確認してください。

# Claude の検索で見つかるようにする
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# コンテンツを Anthropic の学習から除外する
User-agent: ClaudeBot
Disallow: /

実際の事例では何がかかっているのか?

Tesla の公開事例(2026年10月4日)では、Claude は 25 件の購買者の質問で 351 ページを引用しました。ChatGPT と Google AI Overviews の合計より多く、11 件の回答で Tesla に言及しています。

情報源のリストが長いほど、引用の枠も大きくなります。あなたのページがそのためにインデックスされるかどうかを決めるのが Claude-SearchBot です。tesla.com が得たのは 351 件中 1 件で、ほとんどはリファレンスサイトや第三者のサイトに向かいました。

自社サイトで Claude-SearchBot を確認するには?

Proofsource は、Cloudflare のゾーンやアクセスログから AI クローラーのリクエストを毎日数え、Anthropic が公開する IP リストと照合し、クロールされたページのうちどれが Claude の回答で引用されたかを表示します。AI Traffic と クローラーアクセス をご覧ください。

Claude-SearchBotについてのよくある質問

Claude-SearchBot は学習に使われるのか?

Anthropic は、検索結果を改善するためにコンテンツをインデックスするものだと説明しています。学習は ClaudeBot の役割で、ボットごとに robots.txt のルールがあります。

Claude-SearchBot をブロックするとどうなるのか?

Anthropic によると、コンテンツが検索最適化のためにインデックスされなくなり、Claude の検索回答での可視性と正確性が下がる可能性があります。

ブロックせずに Claude-SearchBot の速度を落とせるか?

はい。Anthropic はボットについて非標準の Crawl-delay ルールに対応しています。

訪問が本当に Claude-SearchBot かどうかはどうすればわかるのか?

送信元 IP を Anthropic が claude.com/crawling/bots.json で公開しているリストと照合してください。Anthropic は、そのリストにある IP は Anthropic からのものだとしています。

関連用語

ClaudeBot

ClaudeBot は、Anthropic の Claude モデルの学習に使われる可能性のあるウェブコンテンツを収集する、Anthropic のウェブクローラーです。

Claude-User

Claude-User は、人が Claude にウェブページの取得を必要とする質問をしたときに、Anthropic がそのページを取得するために使うエージェントです。

robots.txt

robots.txt とは、ウェブサイトのルートに置くプレーンテキストのファイルで、Robots Exclusion Protocol(RFC 9309)に基づき、クローラーがどのパスを取得してよいかを伝えます。

PerplexityBot

PerplexityBot は、ウェブページをインデックスして Perplexity の検索結果に表示・リンクできるようにする、Perplexity のクローラーです。

実例:Tesla、公開されているAIの回答、2026年10月4日:Proofsource による Tesla の初回スキャン。購買者の質問25問とブランドの質問5問を、4つのエンジンそれぞれで1問につき1回ずつ質問。1ブランドの小さなサンプルで、ベンチマークではなく例として示しています。

AI があなたを外している場所と、改善すべき点を確認。

どの購買者の質問があなたのブランドに言及しているか、代わりにどのブランドに言及しているか、何を改善すべきかを確認。200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。 カード不要。

200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI