自社に言及した1回の確認は、真の割合20.7%とも矛盾しない
ブランドがAI検索での自社の立ち位置を知る最も一般的な方法は、誰かが一度質問し、回答を読んで、安心するか慌てるかです。その1件の回答が、次の会議で誰もが繰り返す数値になります。
それを、本当の姿のとおりに扱いましょう。1つの質問を1回尋ね、結果がイエスかノーかというのは、偏りの分からないコインからのサイズ1のサンプルです。ウィルソンのスコア区間は、そうした割合に範囲を付ける標準的な方法です。1回の試行で1回成功した場合を95%の信頼度で計算すると、答えは20.7%〜100%です。
平たく言えば、1回の確認であなたに言及したモデルは、5回に1回しかあなたに言及しないモデルとまったく矛盾しません。スクリーンショットではその2つを区別できません。あなたにもできません。
言及されなかった場合はもっと悪くなります。1回中0回の区間は0%〜79.3%で、チームはまさにそれをもとに、コンテンツの計画を当たり前のように書き直しています。
同じ Prompt が違う答えを返すのは、ほかに誰が尋ねていたかによる
エンジンが決定的なら、これは問題になりません。そうではなく、その理由はランダム性についてのよくある曖昧な説明より具体的です。OpenAI は自社の API のガイダンスではっきりそう述べています。チャット補完はデフォルトで非決定的で、モデルの出力はリクエストごとに異なることがある、と。seed で得られるのは、同じページが「ほぼ決定的」と呼ぶ出力で、OpenAI はシステムのフィンガープリントを公開しており、バックエンドの変更で足元が動いたときに分かるようになっています。
Thinking Machines Lab はそれを測定しました。2025年9月、同ラボは Qwen3-235B-A22B-Instruct-2507 から温度0、つまり理論上は完全に再現できるはずの貪欲サンプリングで、「Tell me about Richard Feynman」という Prompt で1,000件の補完を抽出しました。固有の補完は80通りで、最も多いものは78回現れました。1,000回の実行はすべて最初の102トークンまで一致し、103番目で分かれました。992回は「Queens, New York」と続き、8回は「New York City」と続いたのです。
彼らが特定した原因は、GPU のランダム性ではありません。カーネルは実行ごとには決定的ですが、バッチに対して不変ではないため、リクエストはどのバッチに入るかによってわずかに異なる演算を受け、そのバッチサイズはサーバーの負荷で決まります。彼らの結論は2度読む価値があります。ほぼすべての LLM 推論エンドポイントが非決定的である主な理由は、負荷、したがってバッチサイズが非決定的に変動することだ、というのです。
つまり、あなたがスクリーンショットを撮った回答は、同じ瞬間に同じエンドポイントに問い合わせていた見知らぬ人の数に部分的に左右されているということです。それはあなたのブランドについてのシグナルではありません。
20件のサンプルでも、40ポイントの幅が残る
可視性の数値がサンプルから推定した割合だと受け入れれば、次の問いはサンプルがどれだけ大きければよいかです。ウィルソン区間がそれに答え、その答えは謙虚さを求めるものです。以下はすべて、モデルが60%の割合であなたに言及すると仮定しています。
- 5件のサンプル、言及3回：23.1%〜88.2%。65ポイントの幅。分かるのはブランドが存在することだけです。
- 20件のサンプル、言及12回：38.7%〜78.1%。39ポイントの幅で、目盛りの大半です。
- 40件のサンプル、言及24回：44.6%〜73.7%。ここでようやく、見えていない可能性を否定できます。
- 100件のサンプル、言及60回：50.2%〜69.1%。それでも19ポイントの幅です。
- 366件のサンプル：区間がプラスマイナス5ポイントまで狭まる最初の点です。プラスマイナス3ポイントにするには1,021件が必要です。
AI可視性のダッシュボードで報告される動きのほとんどは、起きていない
ここから計算がお金を食い始めます。1週目に1つの Prompt を40回抽出して言及が24回、2週目に40回抽出して32回だったとします。60%から80%への急上昇に見え、金曜日までにはスライドに載るでしょう。
2つの区間は44.6%〜73.7%と65.2%〜89.5%です。重なっています。40件のサンプルでの20ポイントの揺れはまだ結果ではなく、その場の人たちに伝えるべき正しいことは、何も確定していないということです。それを何度か繰り返せば、人はノイズを追いかけなくなります。
だから Proofsource ではアラートを点推定ではなく区間で判定しており、レポートのすべての可視性の割合の横にはウィルソン区間が付いています。数値がある線を越えたときに発出されるアラートは、これほどノイズの多いシステムでは絶えず鳴ります。区間が離れたときに発出されるアラートは、何かが起きたときに鳴ります。
同じ考え方はゼロにも当てはまります。20件のサンプルで言及がなければ上限は16.1%、40件で言及がなければ8.8%です。エンジンが一度も自社に言及しないと主張したいなら、その主張が意味を持ち始めるのはおよそ40件からです。
教わった区間ではなく、ウィルソン区間を使う
技術的な注記を1つ。すぐに思いつく代替案は、ここで重要になるケースでこそ失敗するからです。多くの人が学んだ区間は、単純な正規近似から作るワルド区間です。1回の試行で1回成功すると100%〜100%、1回中0回だと0%〜0%を報告します。1回の確認が確実だと言ってしまうのであり、それこそ私たちが正そうとしている誤りです。
これはよく知られています。Statistical Science に掲載された Brown、Cai、DasGupta のレビューは、ワルド区間の不安定な被覆率は認識されているよりはるかに根深く、いつ使っても安全かについての教科書のよくある指示は誤解を招き欠陥があって信用できないとし、小さなサンプルにはウィルソンを推奨しています。アンサーエンジンのサンプリングは小さなサンプルです。追跡するすべての Prompt がそれぞれ独自の件数を持つからです。
月曜日にすること
このどれも、何かを買う必要はありません。必要なのは、記録するものを変えることです。
- 1回の確認を報告するのはやめましょう。スクリーンショットが証拠なら、分かるのはブランドが現れうるということだけです。
- データを見る前にサンプルサイズを決め、毎期同じにしましょう。読み取りの間で n を変えると、どちらも誠実な数値であっても比べられなくなります。
- 点ではなく区間を報告しましょう。「60%、範囲45〜74」と書かれた行は、「60%」とだけ書かれた行より読みすぎにくくなります。
- アラートのしきい値は区間が離れることに置き、サンプルは複数の日に分散させましょう。中央値がどれほど違って見えても、重なっている2つの区間は変化ではありません。
この分析が誤っている可能性がある点
上のウィルソンの数値は、示した入力に対する正確な計算なので、数値自体に疑いはありません。疑わしいのはその背後にあるモデル化の前提です。ウィルソン区間は、成功確率が一定の独立した試行を前提としていますが、稼働中のエンジンへの繰り返しの問い合わせはきれいに独立してはいません。パーソナライズ、キャッシュ、セッションの文脈、週の途中でのモデルのバージョン更新はすべて、その前提を破ります。これらの区間は不確かさの下限として扱い、その全体とは考えないでください。
Thinking Machines の実験は、ChatGPT や Gemini や Perplexity ではなく、ラボ自身の環境でセルフホストしたオープンウェイトのモデルで実行されました。仕組みは確立していますが、商用製品のばらつきは示しておらず、そのどのベンダーも自社のばらつきを公開していません。
サンプルサイズの表の60%という数値は例示です。区間は中央付近で最も広くなるので、保守的なケースとしてそれを選びました。5%や95%にいるブランドは、同じ絶対的な精度に必要なサンプルが少なくなります。
私たちが擁護するのは、誤りの方向です。小さなサンプル、1回の確認、区間のない点推定はすべて同じ方向、つまり測っていないのに何かを測ったと信じる方向に押しやります。
