段落そのものを渡されても、8つのツールは60%の割合で誤った情報源を挙げた
簡単なはずのテストがあります。公開済みの記事から1段落を取り出してAI検索ツールに貼り付け、どの記事から来たのか、誰が公開したのか、URL は何かを尋ねるのです。テキストは Prompt の中にそのままあり、推測すべきことは何もありません。
Tow Center for Digital Journalism は2025年2月に、まさにそれを8つのツールで実施しました。ChatGPT Search、Perplexity、Perplexity Pro、DeepSeek Search、Copilot、Grok 2、ベータ版の Grok 3、Gemini です。20の発行元、各10記事、合計1,600件のクエリです。抜粋は、通常の Google 検索に貼り付けると最初の3件以内に元の記事が返るものが選ばれていました。
全体として、ツールは60%を超えるクエリに誤って答えました。最も良かった Perplexity でも37%を誤り、Grok 3 は94%を誤りました。DeepSeek は200回中115回、抜粋を誤った情報源に帰属させました。
じっくり考える価値があるのは、その自信です。ChatGPT は134の記事を取り違え、200件の回答のうち不確かさを示したのは15回でした。回答を断ったことは一度もありません。
Perplexity 自身のドキュメントは、マーカーは Prompt 次第で、結果のリストが正しいとしている
これはモデルの品質の問題のように読めます。実際にはアーキテクチャの問題に近く、そのアーキテクチャはベンダー自身の開発者向けドキュメントで読むことができます。
Perplexity の Agent API でのウェブ検索は、2つの別々のオブジェクトとして返ってきます。1つは search_results の項目で、実行されたクエリと、ツールが取得したすべての結果を含み、それぞれに id、url、title、snippet があります。もう1つはアシスタントのメッセージで、これが回答の本文です。誰もが引用として扱う角括弧のマーカーはその回答の本文の中にあり、Perplexity のツールのリファレンスページは、モデルがそもそもそれを付けるかどうかは Prompt 次第なので、明示的に求めるべきだと書いています。そのうえで、代わりに何に頼るべきかを開発者に伝えています。マーカーの有無にかかわらず、各 search_results の項目の id と url のフィールドを、引用の正しい情報源として扱え、というのです。
これをブランドの目で読んでください。ベンダーは自社の開発者に、目に見える引用は権威あるものではなく、取得された集合こそがそうだと伝えているのです。外部からAI可視性を測る人に見えるのは、目に見える引用だけです。
同じドキュメントは、構造化出力の中でモデルに URL を出力させること自体を避けるよう警告しています。リンクを書くモデルは、形式の崩れたものや捏造したものを生み出しうるからで、開発者には検索結果を参照するよう促しています。Tow Center が測ったのは、その失敗の一般ユーザー側の姿です。Gemini と Grok 3 の回答の半分以上が捏造された、あるいは壊れた URL を含み、Grok 3 の200件の引用のうち154件はエラーページにつながっていました。
システムが抽出した引用は、文字位置のオフセットを持っている
これを、モデルが書くのではなくシステムが計算する引用と並べてみましょう。Claude API の Anthropic の Citations 機能は、回答の各主張について、引用された正確な cited_text、出典の文書のインデックス、その文書内の開始と終了の文字位置のオフセットを含むブロックを返します。ドキュメントは、この形がなぜ重要かを明言しています。API が引用を解析して cited_text を直接抽出するため、引用には提供された文書への有効なポインタが必ず含まれる、というのです。
Gemini 向けの Google のグラウンディング API も同じ考え方で作られています。グラウンディングされた回答は、モデルが実際に実行した検索と、回答の本文への start_index と end_index をそれぞれ持つ url_citation の注釈とともに返ってくるので、正確な範囲をハイライトし、その背後の URL を示すことができます。
つまり、仕組みは存在します。システムが計算したポインタとしての引用は確認できます。モデルが書いた文字列としての引用は主張であり、回答の中のほかのすべての主張と同じ懐疑に値します。購買者が実際に使う画面が示しているのは、ほとんどが後者です。
他人のドメインに載った自社の段落が、手柄を持っていく
Tow Center は、ほかの誰よりもブランドに重くのしかかる失敗を1つ見つけました。ツールは繰り返し、元の記事ではなく配信先や転載のコピーを引用していたのです。Perplexity Pro は10件のクエリのうち3件で Texas Tribune の記事の転載版を引用しており、しかも Perplexity は Texas Tribune と提携しています。ChatGPT は USA Today の記事の Yahoo News での転載を引用しました。
ブランドにとってのこの話は、もっと地味で、はるかによくあるものです。自社の比較ページが、2つのプランの本当の違いを説明しています。まとめブログがそれを言い換えます。誰かがカテゴリの質問をすると、まとめ記事がリンクを取り、あなたの言い回しは回答に入っているのに、あなたのドメインはページのどこにもありません。
私たち自身のサンプリングでは、調べた1つのカテゴリの「カテゴリで最適なもの」を尋ねる質問で、ChatGPT が引用した情報源の約44%をランキング記事とまとめ記事が占めていました。これは私たちの数値で、抽出した範囲に限られます。それでも問題の形には合っています。引用の枠は小さく争いの激しい場所で、第三者のページはそこを占めるのが非常に得意なのです。
1つではなく3つの発見を数える
リンクのリストが、エンジンが何を使ったかの信頼できない表示なら、1つの引用数は誤った測定器です。3つの問いはきれいに分かれ、それぞれ別の方向につながります。
- 回答はそもそもあなたに言及したか。本文での存在はそれ自体が1つの測定で、リンクが表示されたかどうかとは独立に動きます。
- 回答が出典として示したのはあなたか、それともあなたの内容を載せたページか。後者なら掲載の問題で、自社のページを書き直しても何も変わりません。
- エンジンはそもそもあなたに到達できたか。引用がない理由は多くの場合つまらないもので、ボットのアクセス可能性の確認をすれば、誰かが何かを書き直す前に決着が付きます。
私たちがしていること
だから Proofsource は、1つの数値を報告するのではなく、引用のギャップとゴースト引用の検出を実行し、すべてのデータ点に、回答で観測されたものか生成されたものかという出どころのラベルを付けています。リンクを付けずにあなたを引用する回答と、あなたを一度も見ていない回答は、リンクを数えるダッシュボードでは同じに見えます。
サンプリングが情報源のリストだけでなく回答の本文も記録するのも、そのためです。あなたの言い回しが本文に現れているのに、情報源には他人のドメインが現れているなら、それは1つの発見で、取得されていない場合とは別の仕事です。
この分析が誤っている可能性がある点
Tow Center のテストは2025年2月に実施され、同年3月に公開されました。18か月前のことで、対象の製品はどれもその後何度もバージョンを重ねています。60%は、この種の失敗が本物で測定可能だという証拠として受け取り、今日の誤り率とは考えないでください。私たちは再実行していません。
研究自身の限界のセクションには、各クエリは1回だけ実行されたこと、同じ Prompts を再実行すればほぼ確実に異なる出力が得られることが書かれています。帰属の正確さ自体が、ノイズの多い測定なのです。
抜粋を貼り付けて誰が書いたかを尋ねるのは、出どころを調べるテストであって、購買者の買い物の仕方ではありません。それは帰属を直接試すもので、そこが要点なのですが、通常のカテゴリの質問の中で帰属がどれくらいの頻度で誤るのかは分かりません。
上の API の挙動は開発者向けの画面のものです。ChatGPT、AI Overviews、Perplexity 自身のウェブサイトが同じ処理経路で動いている保証はなく、私たちは一般向け製品の内部からではなく、文書化された開発者向けの挙動から推論しています。
そして、私たち自身のアドバイスの正直な限界です。外部からは、取得されたが出典として示されなかったページと、一度も取得されなかったページを、いつも区別できるとは限りません。クローラーのアクセスを確認すれば範囲は狭まり、回答の本文で自社の言い回しを探せばさらに狭まります。どちらでも完全には埋まりません。
