自社サイトを直して、 AIに読まれ、正しく位置付けられるようにする。
自社サイトは AI エンジンが引用するもののごく一部ですが、それ以外のすべての前提になります。クローラーのブロックやあいまいな社名があれば、どんな働きかけも無駄になります。この章では、クローラーのアクセス、アイデンティティ、ページに書くべきこと、そして llms.txt を扱います。
AI可視性ガイドの第4章(全6章)
AI クローラーはあなたのサイトを読めますか?
各エンジンはそれぞれ独自のボットを送り、ボットごとに許可または拒否できます。今日の回答に表示されるかどうかを決めるのは、検索用とユーザーリクエスト用の取得ボットです。学習用クローラーは、将来のモデルが何を学べるかを決めます。
| エンジン | 重要なボット |
|---|---|
| ChatGPT | OAI-SearchBot, GPTBot, ChatGPT-User |
| Perplexity | PerplexityBot, Perplexity-User |
| Claude | ClaudeBot, Claude-SearchBot, Claude-User |
| Google AI Overviews | Googlebot, Google-Extended |
多くの人がブロックしているボットは、表示されるかどうかを決めるボットではありません。OpenAI は GPTBot を学習用クローラー、OAI-SearchBot を ChatGPT 検索にサイトを表示するためのボットとして文書化しており、OAI-SearchBot を拒否したサイトは ChatGPT 検索の回答に表示されません。Anthropic は ClaudeBot(学習用)を Claude-SearchBot や Claude-User と分けており、Perplexity は PerplexityBot を学習には一切使っていないとしています。Google のクローラーに関するドキュメントによれば、Google-Extended は Google 検索への掲載に影響しないため、これをブロックしても AI Overviews には何の効果もありません(クローラーの全体像)。
よくある失敗は2つあり、どちらもブラウザでサイトを見ただけでは気づけません。
- エッジでのブロック。CDN のボットブロック設定は、robots.txt で許可していても AI クローラーにエラーを返すことがあります。Cloudflare は2025年7月1日、対価を支払わない AI クローラーをデフォルトでブロックすると発表しました。当社の無料の AI クローラーチェッカーのような robots.txt チェッカーでは、ブロックがサーバー側で起きるため、すべてのボットが許可と表示されてしまいます。
- JavaScript が動くまで空白。スクリプトの実行後にしかテキストが表示されない場合、多くのボットには、人には何千語も見えるところが白紙か数語にしか見えません。
Google についてもう1点。AI Overviews や AI Mode で補足リンクとして表示されるには、ページがインデックスされ、スニペットを表示できる状態である必要があります。そのため、nosnippet や厳しい max-snippet の指定は、AI の回答からもページを外してしまいます。
5分で自分で確認する
重要なページを各ボットとして取得し、ステータスコードと返ってくる語数を確認します:
curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot" https://yoursite.com/
curl -s -o /dev/null -w "%{http_code}\n" -A "ClaudeBot" https://yoursite.com/
curl -s -A "OAI-SearchBot" https://yoursite.com/ | sed 's/<[^>]*>//g' | wc -w403や503が返るなら、何かがそのボットをブロックしています。語数がページで見える量よりはるかに少ないなら、テキストが JavaScript に依存しています。CDN でのブロックを解除し、主要なコンテンツを HTML で配信しましょう。
AI はあなたがどの会社か理解していますか?
エンジンがあなたを推薦するには、まずあなたがどの会社なのかを知る必要があります。名前がより有名な会社に近いと、モデルは一番よく知っている方に引き寄せられます。
有名な名前でさえ、複数の意味に読まれます。公開されている Tesla の例(2026年10月4日)では、Google AI Overviews は「What is Tesla?」に同名の磁束密度の単位から答え始め、Perplexity は「Is Tesla worth it?」に、株と車のどちらについての質問かを確かめる形で答えました。より有名な会社に近い名前を持つ新しいブランドほど、エンジンが別の会社を説明してしまうリスクは大きくなります。
- 自社が何者で、誰のためのものかを伝える明快な一文を書きましょう。それをホームページの冒頭、メタディスクリプション、すべてのプロフィールに入れます。
- LinkedIn やレビューサイトも含め、どこでも社名の表記を1つに統一しましょう。
- 公式サイトと、それを裏づけるプロフィールへのリンクを含む Organization の構造化データを追加しましょう。
- 他社と名前が同じなら、はっきりそう書きましょう。その会社ではないと明記した一文が、エンジンに引用できる材料を与えます。
私たちも自分たちの助言に従っています。Proofsource は ProveSource ではありませんは、まさにそれを伝えるページです。
llms.txt を公開しているサイトへの引用のうち、そのファイル自体を指していたもの。それも llms-full.txt で、llms.txt を引用した回答はありませんでした。
最も引用された300ドメイン、2026年8月23日〜10月5日検索の中に1つのサイトに絞った site: 検索が含まれていた ChatGPT の回答。読んだサンプルでは、たいていその会社自身のサイトでした。
ChatGPT の回答2,502件、2026年10月4日〜13日自社のページには何を書くべきですか?
自社サイトはエンジンが引用するもののごく一部で、当社の AI 引用調査では引用の約0.8%にすぎません。しかし、それはあなたが管理できる部分であり、ChatGPT はまっすぐそこへ向かいます。サンプルの回答の16%が、1つのサイトに絞った検索を実行していました。また、質問に年が含まれていない回答の55%で、検索に今年の年が加えられていました。つまり、今年の日付があり、自社のカテゴリーを平易な言葉で示しているページは、ChatGPT が作るクエリに合致します。
- 事実に関する質問にはっきり答える:製品が何か、誰向けか、価格はいくらか、何と連携するかを、クローラーが読めるテキストで。
- 誠実な比較ページを公開する。他社製品についての主張には、すべて出典を付けましょう。競合の比較ページや製品ページは、エンジンが最もよく引用するページの1つです(第3章)。
- 購入ガイドを書く。エンジンが誰の名前も挙げない質問に向けたもので、選び方を説明する時にエンジンが引用する、選定基準のページです。
- すでに1位にあるページを編集する。Google によれば、再クロールには数日から数週間かかることがあります。新しいページは、何かに取得される前に、まず発見されインデックスされる必要があります。
llms.txt は必要ですか?
必要ありません。llms.txt は、言語モデル向けにサイトの主要ページを一覧にする、提案段階のマークダウンファイルです。生成 AI 機能に関する Google のガイド(最終更新2026年7月10日)は、検索はこのファイルを使わないため、公開しても Google 検索での可視性に害も益もないとしています。また、私たちが追跡しているエンジンで、llms.txt をランキングに使うと表明したものはありません。
正直な調査結果をお伝えします。サンプルで AI エンジンが最も多く引用した300ドメインから /llms.txt を取得しました。129ドメインが公開しており、それらのサイトは6,343回引用されていました。ファイルを指した引用は1件だけで、それも llms-full.txt。llms.txt を指したものはありませんでした。最も引用された上位10ドメインのうち、8つはファイルがなく、2つは私たちのチェックをブロックしていました(llms.txt の調査)。Ahrefs も逆の側から同じ結果を得ています。2026年5月のサンプルにあったファイルの97%は、一度もリクエストを受けていませんでした。
公開しても害はなく、ドキュメントを読むエージェントは実際に利用しています。それでも公開する場合は、llms.txt ジェネレーターで作成し、公開版を llms.txt バリデーターで確認しましょう。
ほかに省いてよいことは?
- 特別な「AI 用マークアップ」。Google は、同社の AI 機能のために特別な schema.org マークアップや新しい機械可読ファイルは必要ないと明言しています。とはいえ、前述の Organization マークアップのような通常の構造化データは、エンジンがあなたを読み取る助けになります。
- 反射的に学習用クローラーをブロックすること。それ自体は正当な選択ですが、将来のモデルがあなたについて学ぶ量は減ります。意図して判断し、検索用の取得ボットをうっかりブロックすることは絶対に避けましょう。
続きを読む
すべての章
関連する読みもの
- OpenAI: Overview of OpenAI crawlers developers.openai.com/api/docs/bots
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity: Perplexity crawlers docs.perplexity.ai/docs/resources/perplexity-crawlers
- Google Search Central: Google's common crawlers (Google-Extended) developers.google.com/search/docs/crawling-indexing/google-common-crawlers
- Google Search Central: AI features and your website developers.google.com/search/docs/appearance/ai-features
- Google Search Central: Optimizing your website for generative AI features(最終更新2026年7月10日) developers.google.com/search/docs/fundamentals/ai-optimization-guide
- Google Search Central: Ask Google to recrawl your URLs developers.google.com/search/docs/crawling-indexing/ask-google-to-recrawl
- Cloudflare: Content Independence Day, no AI crawl without compensation(2025年7月1日) blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/
- Ahrefs: We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read(2026年6月15日) ahrefs.com/blog/llmstxt-study/
- Jeremy Howard: The /llms.txt file (llmstxt.org) llmstxt.org/
Proofsource の数値には、それを測定した記事や調査へのリンクを、日付と手法とともに付けています。古くなっている情報があればお知らせください。
AIがあなたを見落とす場所を見つけて、直す。
どの購買者の質問があなたのブランドに言及しているか、代わりにどのブランドに言及しているか、何を改善すべきかを確認。200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。 カード不要。