ClaudeBot とは?

ClaudeBot は、Anthropic の Claude モデルの学習に使われる可能性のあるウェブコンテンツを収集する、Anthropic のウェブクローラーです。 Anthropic は役割の異なる3つのボットを運用しています。学習用の ClaudeBot、検索インデックス用の Claude-SearchBot、そして誰かが Claude に質問したときにページを取得する Claude-User です。robots.txt ではそれぞれを個別に指定するため、ClaudeBot のルールはほかの2つには何も影響しません。

無料トライアルを始めるデモを依頼

200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。カード不要。

ClaudeBot のユーザーエージェントは?

ClaudeBot はプロダクトトークン ClaudeBot で名乗っており、robots.txt のグループで指定すべきなのもこのトークンです。Anthropic のヘルプ記事は3つのボット(ClaudeBot、Claude-User、Claude-SearchBot)の名前を挙げていますが、完全なユーザーエージェント文字列は掲載していません。ログでは、コピーした文字列ではなくトークンで照合してください(Anthropic のクローラーに関する記事、2026年10月15日閲覧)。

ログ行の名前は偽装できます。リクエストが本当に Anthropic からのものかを確かめるには、送信元 IP を Anthropic が claude.com/crawling/bots.json で公開しているリストと照合してください。Anthropic は、このリストにある送信元 IP のクローラーは Anthropic からのものだとしています。

robots.txt によっては、古いトークンである anthropic-ai や Claude-Web がまだ書かれています。Anthropic の現在の記事はどちらにも触れていないため、古いトークンだけを指定したルールが ClaudeBot をカバーするとは文書化されていません。

ClaudeBot は何を、何のために収集するのですか?

ClaudeBot は、Anthropic の生成 AI モデルの学習に役立つ可能性のある公開ウェブコンテンツを収集します。Anthropic によれば、これはモデルの有用性と安全性の向上に役立ちます。ブロックすると、サイトの今後のコンテンツを Anthropic の学習データセットから除外するよう示すことになります。

Anthropic は、ボットの動作についても次のように定めています。

robots.txt の「クロールしない」という指示を守ります。
CAPTCHA やその他の回避防止策を突破しようとはしません。
標準外の Crawl-delay ルールに対応しているので、ClaudeBot をブロックせずに速度を落とせます。
ルールは1つのホストに適用されるため、サブドメインのあるサイトでは、各サブドメインの robots.txt にルールが必要です。

ClaudeBot は Claude-User や Claude-SearchBot とどう違うのですか?

ClaudeBot は学習のためのもので、Claude-SearchBot と Claude-User は、人が Claude に何かを尋ねたときに見つけてもらい、読んでもらうためのものです。Anthropic は、後者2つのどちらかを無効にすると、Claude の検索回答でサイトの可視性が下がる可能性があると警告しています。

Anthropic の3つのボット(Anthropic 自身のヘルプ記事より、2026年10月15日閲覧)。
ボット	役割	ブロックした場合
ClaudeBot	モデルの学習に役立つ可能性のあるウェブコンテンツを収集	今後のコンテンツを学習から除外するよう示す
Claude-SearchBot	Claude の検索結果の質と関連性を高めるためにウェブを読む	検索用のインデックス登録が止まり、Claude の検索回答での可視性と正確さが下がる可能性がある
Claude-User	人が Claude に必要な質問をしたときにページを取得	その質問のために Claude がページを取得できず、ユーザー主導の検索での可視性が下がる可能性がある

robots.txt で ClaudeBot をブロック・許可するには?

各ホストのルートにある robots.txt に、ClaudeBot を指定するグループを追加します。Anthropic 自身の例では、User-agent: ClaudeBot の下に Disallow: / を1行書いて、サイト全体で ClaudeBot をブロックしています。

よくある選択は、コンテンツを学習から外しつつ、Claude の回答では見つけてもらえる状態を保つことです。ClaudeBot をブロックし、ほかの2つは許可します。ブロックではなく ClaudeBot の速度を落とす方法として Anthropic が文書化しているのが Crawl-delay です。代わりに Anthropic の IP アドレスをブロックする方法に頼るのはやめましょう。Anthropic は、ボットが robots.txt を読む妨げになるため確実に機能しない可能性があるとしています。そのうえで、公開中のファイルを無料の AI クローラーチェッカーで確認してください。

# Anthropic の学習からコンテンツを除外
User-agent: ClaudeBot
Disallow: /

# Claude の回答では見つけてもらえるようにする
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# ClaudeBot をブロックする代わりに、速度を落とす場合:
# User-agent: ClaudeBot
# Crawl-delay: 1

Claude に引用されることにとって、これは何を意味しますか?

Claude に引用されるかどうかは、Claude-SearchBot と Claude-User があなたのページに届くかどうかにかかっています。ClaudeBot は学習に関する別の判断です。3つすべてをブロックすると、両方を手放すことになります。

有名ブランドでさえ、Claude の引用は薄く分散しています。公開されている Tesla の例(2026年10月4日)では、Claude は購買者の質問への回答25件中11件で Tesla に言及し、それらの回答で351件を引用しましたが、tesla.com はそのうち1件だけでした。最も引用したサイトは en.wikipedia.org で16回です。検索クローラーのルールが決めるのは、この引用枠を争えるかどうかであり、それは robots.txt を読むことではなく、質問をしてみることで測ります。Claude がブランドを選ぶ仕組みをご覧ください。

ClaudeBotについてのよくある質問

ClaudeBot をブロックすると、サイトは Claude から消えますか?

Anthropic の説明ではそうなりません。ClaudeBot は学習用のクローラーです。検索インデックスは Claude-SearchBot、ユーザーの質問に応じたページ取得は Claude-User が担っており、Claude の検索回答での可視性が下がる可能性があるのは、この2つをブロックした場合だと Anthropic はしています。

ClaudeBot は robots.txt を守りますか?

Anthropic によれば、同社のボットは robots.txt の指示を守り、CAPTCHA を回避せず、Crawl-delay に対応しています。対象にしたいすべてのサブドメインの robots.txt にルールを置いてください。

ClaudeBot を IP アドレスでブロックすべきですか?

Anthropic はそれに頼ることを勧めていません。IP アドレスのブロックは正しく、または継続的に機能しない可能性があり、ボットが robots.txt を読めなくなります。ルールには robots.txt を使い、Anthropic が公開している IP リストはリクエストが本物かを確かめるためだけに使いましょう。

ClaudeBot は anthropic-ai と同じですか?

いいえ。anthropic-ai と Claude-Web は、一部の robots.txt にまだ残っている古いトークンで、Anthropic の現在の記事は触れていません。記事が挙げているのは ClaudeBot、Claude-SearchBot、Claude-User だけなので、ルールはこの3つに対して書いてください。