robots.txt とは？

robots.txt とは、ウェブサイトのルートに置くプレーンテキストのファイルで、Robots Exclusion Protocol（RFC 9309）に基づき、クローラーがどのパスを取得してよいかを伝えます。 robots.txt はサイトがクローラーに対して持つ最も古い制御手段で、AIの時代にはこれまで以上に多くの判断を担っています。学習、検索インデックス、ユーザーの操作による取得にはそれぞれ専用のボットがあり、ひとつのボットへのルールは他のボットについて何も決めません。

無料トライアルを始めるデモを依頼

200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。カード不要。

robots.txt はどう機能する？

グループの集まりとして機能します。各グループは1つ以上の user-agent トークンを指定し、Allow と Disallow のパスを並べます。ルールは RFC 9309（Koster、Illyes、Zeller、Sassman、2022年9月）で Robots Exclusion Protocol として標準化されており、クローラーが従う詳細が定められています（RFC 9309、2026年10月15日に確認）。

ファイル名は小文字の robots.txt で、ホストの最上位に置き、UTF-8 のプレーンテキストで配信します。
ルールが競合したときは、最も具体的な一致、つまりオクテット数が最も多いルールが優先されます。
クローラーはファイルの少なくとも500キビバイトを解析する必要があり、ファイルに到達できない場合を除き、キャッシュを24時間を超えて使うべきではありません。
4xx の応答なら何でも取得してよく、5xx の応答ならすべて禁止されているとみなす必要があります。
ルールはアクセス認可の仕組みではありません。あくまでお願いであり、記載したパスは誰からも見えます。

AIクローラー向けの robots.txt ルールはどう書く？

ボットごとにトークンで指定し、役割ごとに個別に判断します。よくある方針は、AI検索では見つけられるようにしつつ、コンテンツは学習に使わせないことです。検索とユーザー取得のエージェントを許可し、反対する学習クローラーを禁止します。

ファイルはホストごとに別なので、docs.example.com には独自のルールが必要です。Anthropic は、対象にしたいすべてのサブドメインにルールを追加するようサイト運営者に求めています（Anthropic、2026年4月7日）。

# AI検索とユーザー取得では見つけられるようにする
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# モデルの学習には使わせない
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

AIの回答からあなたを隠してしまう robots.txt のミスは？

代償の大きいミスは、たいてい意図しないものです。

学習を止めるつもりで、検索エージェント（OAI-SearchBot、Claude-SearchBot、PerplexityBot）までブロックしてしまう。
User-agent: * の一括ルールが AI検索クローラーまで巻き込んでしまう。
CDN やセキュリティの設定が、robots.txt が読まれる前に AIボットをブロックしてしまう。
www にはルールがあるのに、エンジンが最も引用したがる docs やヘルプのサブドメインにはない。
重要なページのスニペット制御。Google によると、AI Overviews や AI Mode に表示されるには、ページがスニペット付きで表示できる状態である必要があります（Google Search Central）。

実例では robots.txt は何を決める？

そもそもあなたのページが引用を争えるかどうかを決めます。公開されている Tesla の例（2026年10月4日）では、25の購買者の質問に対し Perplexity は375件、Claude は351件の引用をしましたが、tesla.com はそれぞれ3件と1件でした。

robots.txt でこれらのエンジンの検索エージェントをブロックしているサイトは、そのわずかな枠さえ手放します。許可するだけで引用が取れるわけではありませんが、あなたのページが候補に入ります。

AIクローラー向けに robots.txt をどう確認する？

公開インターネットから、すべてのホストの公開中のファイルを取得し、トークン名ごとに検索します。無料のAIクローラーチェッカーは公開中の robots.txt を読み、どの AIクローラーを許可・ブロックしているかを報告します。Proofsource のクローラーアクセスは、CDN の層とレンダリング後のテキストとあわせて確認します。