言及として数えられた回答のうち167件が、ブランドについて誤った内容を述べていた
言及率が各回答に問うのは1つだけです。ブランドが言及されたかどうか。言及したうえで回答が何を述べたかは問いません。私たちは、この2つがどれくらいの頻度で食い違うのかを知りたいと考えました。
サンプルは、2026年10月4日から16日までに Proofsource のワークスペースで得た ChatGPT、Perplexity、Claude、Google AI Overviews の回答です。追跡対象のブランドに言及したすべての回答について、チェッカーがブランドに関する各主張を、ブランドが確認した事実、または私たちがそのブランドのサイトから読み取った事実と比較しました。登録済みの事実と照合できる主張を1つ以上含んでいた回答は、63のワークスペース、80ブランドにわたる2,137件でした。
そのうち167件、7.8%が、ブランド自身の事実と矛盾する主張を少なくとも1つ含んでいました（95%区間は6.8%〜9.0%）。主張単位では、照合可能な4,761件のうち200件、4.2%が誤りでした。ブランド別に見ると、80ブランド中36ブランドで、2週間足らずのうちに誤った回答が少なくとも1件ありました。
この167件の回答は、すべて言及率に算入されていました。ダッシュボード上では、すべて正しかった回答とまったく同じに見えていたのです。
誤った主張の大半は数値だった：件数、価格、製品の説明
誤った主張200件を、その内容によって簡単なテキストのルールで分類しました。内訳は目安としてご覧ください。
- 件数などの数値、92件：連携数、拠点数、顧客数、1ポイントずれた掲載率など。
- 製品が何であるか・何をするか、50件：見積もりツールをプロジェクト管理ソフトと説明したもの、セキュリティ企業をブロックチェーンのプロジェクトと説明したものなど。
- 価格とプラン、48件：実際より低い開始価格、プランごとのクレジット数の誤りなど。
- 日付、ルール上は10件。ただし実際に創業年だったのは6件だけで、その多くは1年ずれていました。
事実を誤った回答は Claude で12%、Perplexity で5%
エンジン別に、確認した回答のうち誤った主張を1つ以上含んでいた割合は、Claude が12.3%（470件中58件）、Google AI Overviews が8.7%（516件中45件）、ChatGPT が6.0%（612件中37件）、Perplexity が5.0%（539件中27件）でした。
これを順位表として読まないでください。私たちのサンプルでは、エンジンごとに答えた質問の組み合わせが異なり、手法の違う外部の調査では順位が異なっていました（詳しくは後述）。4つすべてに共通するのは、誤りのないエンジンはなかったということです。
ブランド自身のサイトを引用した回答は、誤りが半分だった
「この会社は何をしているのか」「いくらかかるのか」のようにブランド名を含む質問では、回答がブランド自身のサイトを引用したのは1,353件で、そのうち事実を誤ったのは7.1%（96件）でした。ブランドのサイトが引用に含まれなかった場合は15.3%でした（307件中47件、区間は11.7%〜19.8%）。
ブランド名を含まない購買者の質問では、明確な差はありませんでした。4.8%対5.7%で、件数もずっと少ないものです。これは相関であって検証ではありません。それでも、最も安上がりな改善策を示しています。エンジンがあなたを説明するとき、あなた自身のページを読んでいれば、正しく説明する頻度が高くなるのです。
誤った事実は176種類、そのうち162種類は一度きりだった
誤った主張をブランド、事実、値でまとめると、200件は176種類の異なる誤りに集約されます。そのうち162種類は1件の回答にしか現れず、繰り返し現れたのは14種類だけで、複数のエンジンに現れたのは8種類だけでした。
これで対応の仕方が変わります。1つのエンジンが一度だけ述べた誤った価格は、二度と目にしないかもしれない偶然です。繰り返し現れるものや、2つのエンジンに現れるものには出どころがあり、その出どころはたいていページです。また、エンジンが引用したページに、17ブランドについての誤った事実が65件見つかりました。すでに誤りを載せていた第三者のページです。
自社の言及率の裏で開いて見るべきもの
割合しか示さないツールでは、こうしたことは何も分かりません。回答そのものを求めましょう。
- 言及されたすべての質問について、回答の全文を読みましょう。最も多く言及されている質問から始めます。
- 自社に関する各主張を、料金ページ、製品ページ、会社概要ページと照らし合わせましょう。価格、件数、創業年が最初に古くなります。
- その回答が本当に自社のことを言っているか確認しましょう。似た名前の会社が、自社への言及として数えられることがあります。
- 引用されたページを開きましょう。自社のサイトが含まれていなければ、エンジンは他者のページをもとに自社を説明しています。
- 対応する前に、繰り返しの回数を数えましょう。日をまたいで、あるいは複数のエンジンで繰り返し現れる主張から先に直し、その出どころのページを突き止めます。
Proofsource での扱い方
Proofsource は、すべての回答の全文と引用ページを保存します。ブランドに言及した各回答について、あなたに関する主張を、あなたが確認した事実と自社サイトから読み取った事実に照らしてチェックし、引用された主張と正しい値の両方が一字一句そのまま現れる場合にだけ「誤り」と判定します。同じ誤った値が再び現れた場合は、新しいアラートを出すのではなく、1つのアラートのカウントに加えます。似た名前の別の会社に関する回答は、あなたのものとして数えずにフラグを付けます。
この分析が誤っている可能性がある点
チェッカーは、登録済みの事実と照らして読む言語モデルです。誤った主張200件のうち25件を手作業で読みました。21件は明確な矛盾で、4件は根拠が弱いものでした（記載のない詳細を誤りと読んだもの、範囲を示したもの、事実リスト自体が食い違っていたもの、別の製品に関する主張）。また、判定するのは保存済みの事実に一致する主張だけです。一致する事実がなく判定されなかった主張が5,330件あるため、ブランドが一度も書き留めていないことに関する誤りは捉えられていません。
ブランド自身の事実が古くなっていることもあり、その場合は正しい回答を誤って「誤り」と判定してしまいます。80のブランドは主に Proofsource に登録した小規模企業で、無作為抽出ではありません。また12日間という期間は短く、誤った事実が繰り返し現れる機会も限られています。
外部との比較：Searchable は1,704ブランドの従業員に、AIエンジンが自社について述べた32,556件の事実を評価してもらい、9.2%が誤りとされました。最も悪かったカテゴリは価格で13.5%です。同社の評価者は、古くなった情報を含め、誤りと分かるものは何でも指摘できたため、事実との照合に限った私たちの確認より範囲が広く、それが割合の高さの理由だと考えられます。また同社は、比較した3つのエンジンの中で Perplexity が最も不正確だとしており、私たちの順位とは逆でした。
