72サイト中7サイトで、単純な取得では重要なページの本文が抜け落ちていた
ChatGPT が誰かのためにページを読むとき、サーバーが返す HTML を受け取ったところで止まります。Claude の読み取り機能も Perplexity のクローラーも同じです。読み込み後にスクリプトが書き込むものは、彼らが受け取る内容に含まれません。つまり問題は、重要な言葉が最初のレスポンスに含まれているかどうかです。
2026年10月5日から17日にかけて、Proofsource はワークスペースで追跡している各ブランドのトップページと、最大4つの重要なページを確認しました。各ページは2回取得しています。スクリプトを実行しない単純なリクエストである自社クローラーと、スクリプトを実行するブラウザです。ブラウザ版をテキストのブロックに分け、その語のうち単純な取得にも現れたものの割合を数えました。
72サイトの211ページで有効な測定値が得られました。ページの中央値は95%で、211件中144件が90%以上でした。半分を下回ったのは24ページです。
その24ページすべてについて、欠けていたテキストを手作業で読みました。そのうち7サイトの12ページは、購買者が読むはずのテキストを失っていました。72サイト中7サイト、つまり9.7%（95%区間は4.8%〜18.7%）です。
50%未満のページの半分は誤検知だった
残りの12ページは深刻に見えて、実際はそうではありませんでした。あるサイトの4ページでは、欠けていたのはCookieの同意パネルでした。大手ソフトウェアサイトの5ページは、インライン画像のコードが単語として数えられていたため、7%から16%のスコアになりました。残りはレビューフォーム、リアルタイムの取引カウンター、音楽プレーヤーでした。
ですから、スコアを信じる前にブロックを読んでください。割合だけでは、料金表が欠けているのかCookieバナーが欠けているのかは分かりません。欠けているものの一覧なら分かります。
失われていたもの：見出し、導入事例、料金表
実際に失われていた12件（匿名化済み）：
- 3つのトップページでは、返ってきたのは1語か2語でした。2つは、単純な取得に会社名以外を何も返しませんでした。
- あるソフトウェア企業の導入事例一覧と導入事例1件のスコアは0%でした。顧客の声はすべてスクリプトで書き込まれていました。
- ある開発者向けツールの料金ページは15%でした。無料プランの上限、トライアルの条件、プランごとの制限が、すべて読み込み後に表示されていました。
- あるサイトでは、トップページに加えてブログ一覧とお問い合わせページも空白でした。
- あるデザイナーのポートフォリオでは、トップページの経歴とサービス一覧全体が失われていました。
- 大手マーケットプレイスのトップページとサービスページは、それぞれ18%と7%しか残りませんでした。出品、価格、評価はページの後に読み込まれます。
最も持ちこたえたのは製品ページ：50%未満は31件中1件
製品ページは調べた中で最も安全な種類でした。31件で測定値が得られ、中央値は92%、50%未満の1件で欠けていたのはレビューフォームだけでした。最もリスクが高かったのはトップページで、72件中8件が50%未満、実際に失われていた12件のうち5件がトップページでした。
Google はページをレンダリングする。ChatGPT の読み取り機能、Claude、Perplexity はしない。
Vercel と MERJ は2024年12月、OpenAI の3つのクローラー、ClaudeBot、PerplexityBot を含め、主要なAIクローラーはどれも JavaScript をレンダリングしていないことを明らかにしました。Gemini は Googlebot の基盤を使っており、レンダリングしていました。
誰かが質問したときにページを取得する読み取り機能についても、より新しいログが同じことを示しています。Forge は、2026年9月24日までの30日間にあるニュースサイトへのリクエストを数えました。ChatGPT-User はページを37,045回読み取り、ページの読み込み中にスクリプトを1つも取得しませんでした。Claude-User は10,028回、PerplexityBot は3,193回で、同じくスクリプトの取得はゼロでした。翌日のテストでは、ChatGPT、Claude、Gemini のいずれも HTML に書かれた合言葉だけを報告し、スクリプトが追加した2つの合言葉はどちらも報告しませんでした。
Google は異なります。ドキュメントによると、ヘッドレスの Chromium がページをレンダリングし、Google はレンダリング後の HTML をインデックスします。そして AI Overviews や AI Mode に表示されるには、ページがインデックスされ、スニペットの対象であればよいのです。つまり、スクリプトが書き込むテキストは Google のAI回答には届いても、ChatGPT が同じページをリアルタイムで読むときには欠けていることがあります。
未解決の点が1つあります。ある開発者が9月30日、9月25日以降、OpenAI の検索用と学習用のクローラーが自身の Next.js サイトでページをレンダリングし始めたと報告しました。OpenAI はこれを発表しておらず、上で示した ChatGPT-User の挙動を変えるものでもありません。
自社のページを10分で確認する
最初の確認にツールは要りません。
- ページの中で重要な文を3つ選びます。見出し、価格、顧客の声です。
- ページのソース（レンダリング後のページを表示する要素の検証ではなく）を開き、それぞれを検索します。ターミナルからなら、URL を curl で取得して grep で探します。
- ブラウザの設定でそのサイトの JavaScript をオフにして再読み込みします。残ったものが、これらのクローラーが受け取る内容にほぼ相当します。
- Cookieバナー、チャットウィジェット、ポップアップが欠けているのは無視して構いません。見出し、製品説明、価格、導入事例、FAQは、サーバーサイドレンダリング、静的生成、プリレンダリングでサーバーの HTML に移しましょう。
- ブラウザではページが読み込めるのに単純な取得で403が返る場合は、CDN やファイアウォールを確認してください。ほかに4つのサイトがこの形で私たちのクローラーを拒否しました。未知のボットを遮断するファイアウォールでも、検証済みのAIクローラーは通す場合があるため、これらは対象から外しています。
Proofsource での扱い方
Proofsource は、追跡している各ブランドのトップページと最大4つの重要なページで、この確認を行います。スクリプトを実行せず robots.txt に従う単純な取得と、同じページをレンダリングしたコピーを比べます。単純な取得で得られた語の割合を示し、読み取れたブロックの横に欠けているブロックを並べ、そのページの改善策を提案します。10月4日に確認したとき、私たち自身のトップページは0%でした。単純な取得で得られたのは2,416語中9語だけでした。現在サイトはプリレンダリングされており、トップページを単純に取得するとテキストが返ってきます。
この分析が誤っている可能性がある点
私たちのクローラーは GPTBot ではありません。ProofBot と名乗っており、ボットを名前で扱い分けるサイトは、AIクローラーに別の内容を返している可能性があります。私たちを拒否した4サイトは、その目に見える例です。
実際の損失と誤検知の区別は、欠けていたテキストのサンプル（上限あり）を手作業で読んだ結果であり、読んだのは50%未満のページだけです。78%のページでも重要なものが欠けていることがあります。そのスコアのトップページの1つでは、利用の流れの手順と連携先の一覧が失われていました。したがって7サイトというのは、重要なものを失ったページの下限です。スコアの算出方法には、スコアを押し下げるインライン画像のコードのような既知のノイズもあります。
マーケットプレイスの出品のようにパーソナライズされたコンテンツは、訪問者ごとに異なる場合があります。各サイトの測定値は10月5日から17日の間の最新の確認結果で、サイトは変化します。72サイトは主に Proofsource のワークスペースを持つ小規模企業と、それらが追跡する大手ブランドで、ウェブの無作為抽出ではありません。
外部の根拠も限られています。2024年の調査1件、1つのニュースサイトのログ、1人の開発者の報告です。
