1つの回答があなたに言及しました
今週1/1
100%
可視性：100%。この質問はあなたのものです。
1つの数値は揺れ動きます。95%区間が本当の変化を示します。
AIに同じ質問を2回すると、違う数値が出ます。Proofsource のすべての数値には幅が付いているので、本当の変化と偶然を見分けられます。
200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。 カード不要。
本当の率はこの中のどこかにあります95%区間
43%〜62%
0%50%100%
この帯が95%区間です。1つの数値は揺れます。帯を見れば、何が本物かがわかります。
同じデータ、2 つのレポート。あなたならどちらに基づいて動きますか？
範囲のない数値は、正確そのものでもあなたを誤った方向に導くことがあります。2つの読み方を切り替えてみてください。
下がっていなかった数字
先週4/10
40%
今週2/10
20%
可視性が40%から20%に半減。何かが壊れています。
僅差すぎるランキング
あなたのブランド6/10
60%
競合4/10
40%
あなたがリード、60%対40%。
本物の勝利
改善前60/200
30%
改善後100/200
50%
可視性が30%から50%に上昇。
上の見出しはどれも計算上は正しいのに、4つのうち3つはあなたを誤った方向に導きます。切り替えて理由を確かめてください。
信頼できる小さな数値は、実態のない大きな数値に勝ります。範囲を示すのは、まさにそのためです。
一言で言うと
100件の回答のうち53件がTeslaを挙げたので、言及率は53%、95%区間は43%〜62%です。同じ購買者の質問をもう一度尋ねると、53%は毎回少しずつ変わります。区間とは、永遠に尋ね続けたときに得られる値を20回中19回含むように描いた範囲です。
点は測定した率、53.0%です。バーは95%区間で、43.3%から62.5%です。つまり、これらの質問への回答のうち、Tesla が言及されるのはおよそ43%から62%の間で、最も可能性が高いのは53%前後、と読みます。
見てみましょう：同じ質問を何度も繰り返す
これらのレポートの間で何も変わっていません。真の率は一定です。偶然によって、どの回答が返ってくるかが変わるだけです。ボタンを押して、各レポートがどこに着地するかを見てください。
真の率（永遠に質問し続けた場合に得られる値）
レポートあたりの回答数
10件のレポート、それぞれ25件の回答から算出。何も変わっていないのに、見出しの数値は24.0%から52.0%まで動きました。真の値は40%のままです。
10個中10個の区間（100%）が、破線で示した真の値を含んでいます。尋ね続けると、この設定では93.6%に落ち着き、20回中19回に近づきます。回答は整数で数えるため、正確な値は95%の前後でわずかに動きます。まだ不言及はありません。質問を続けると、ときどきオレンジのものが現れます。
自分の数字で試す
製品がすべての数値で実行しているのと同じ計算:95%のウィルソンスコア区間。
言及率 53.0%
95%区間：43.3%〜62.5%、前後およそ9.6ポイント。
回答数を増やすと範囲が狭まる様子を見てください。回答が 4 倍になると、幅はおよそ半分になります。
そもそもなぜ AI の回答に範囲が必要なのか
AIエンジンは同じ回答を二度とは返しません。明日同じ質問をしたり、少し言い方を変えたりするだけで、挙がるブランドが変わります。
当社の追跡では、AIの回答の日々の変化のうち47%が翌日に元に戻りました（購買者の質問40件、4つのエンジン、最長9日間）。ある質問の1つの言い回しで言及されたブランドが、言い換えた質問でも言及されたのは55%にとどまりました（13,994件の回答）。
つまり、1件の回答や1日の結果は、動き続ける対象から1回引いたサンプルにすぎません。区間は多数のサンプルを誠実な表現に変えます。率と、その確からしさです。
回答が多いほど範囲は狭くなる
幅は主に、数値の裏にある回答の数で決まります。曲線に沿ってドラッグしてみてください。
| 回答 | 言及あり（30%時点） | 95%ウィルソン区間 | 誤差範囲 |
|---|---|---|---|
| 10 | 10件中3件 | 10.8%〜60.3% | 約24.8ポイント |
| 25 | 25件中8件 | 17.2%〜51.6% | 約17.2ポイント |
| 50 | 50件中15件 | 19.1%〜43.8% | 約12.3ポイント |
| 100 | 100件中30件 | 21.9%〜39.6% | 約8.8ポイント |
| 200 | 200件中60件 | 24.1%〜36.7% | 約6.3ポイント |
| 400 | 400件中120件 | 25.7%〜34.7% | 約4.5ポイント |
| 1,000 | 1,000件中300件 | 27.2%〜32.9% | 約2.8ポイント |
変化は本物か、それともノイズか？
毎週のレポートで必ず出る疑問です。3つのルールで答えられます。
- 範囲が重ならない：変化は本物です。対策を打ちましょう。
- 範囲が重なる：だからといって何も変わっていないとは言えません。同じサンプルから取った2つの95%範囲は99%以上の確率で重なるため、重なりは非常に厳しい判定基準です（エラーバーの重なりが判定基準にならない理由）。代わりに、言及ありから言及なしへ、またはその逆に変わった質問を比べてください。
- 当社のアラートは意図的に厳しくしています：範囲が分かれ、かつ変化があなたの設定したしきい値を超えたときにだけ通知するので、届いたアラートは信頼できます。
ウィルソン区間とは
表示しているすべての範囲の背後にある手法です。統計学者の Edwin B. Wilson が1927年に発表したもので、はい・いいえの結果がそれほど多くない場合の率について、統計学の文献が推奨している手法です。
AI の回答はあなたのブランドに言及するかしないかのどちらかなので、言及率は「はい・いいえ」の結果の割合、つまり統計学でいう二項比率です。ウィルソンの方法では、その割合の周りの範囲を2段階で求めます。まず中心を少しだけ50%に寄せ（回答が少ないほど大きく寄せます）、次にその中心の周りに、率と回答数に応じた幅の範囲を描きます。p を言及された回答の割合、n を回答数、95% の場合の z を1.96とすると：
centre = (p + z^2/(2n)) / (1 + z^2/n) half-width = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) ) 95% range = centre - half-width to centre + half-width
多くの教科書にある単純な式、つまり率に標準誤差の±1.96倍を加減する方法(ワルド区間)は、まさに AI 可視性が置かれる状況、つまり小さなサンプルと0%や100%付近の率で破綻します。同じ回答を両方の方法で:
| Answers | Rate | Simple plus-or-minus | Wilson 95% |
|---|---|---|---|
| 53 of 100 | 53.0% | 43.2% to 62.8% | 43.3% to 62.5% |
| 2 of 25 | 8.0% | -2.6% to 18.6%, ゼロ未満 | 2.2% to 25.0% |
| 0 of 25 | 0.0% | 0.0% to 0.0%, 範囲がまったくない | 0.0% to 13.3% |
| 25 of 25 | 100.0% | 100.0% to 100.0%, 範囲がまったくない | 86.7% to 100.0% |
だからこそ、Brown、Cai、DasGupta による代表的な手法のレビュー（Statistical Science、2001年）は40以下のサンプルにウィルソン法を推奨し、Agresti と Coull（1998年）は教科書の公式よりも真の率を確実にカバーすると示し、Newcombe による7手法の比較（Statistics in Medicine、1998年）もこれを支持しました。ダッシュボード、レポート、エクスポート、APIはすべて同じウィルソン区間を計算するため、どこで見ても数値の意味は同じです。計算式はウィルソン区間とは？にも掲載しており、私たちが計算するすべての数値は方法論で説明しています。
参考資料
手法の裏付けとなる論文。計算をご自身で確かめられます。
- Journal of the American Statistical Association1927
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212.
原論文:当社の範囲で使っている、比率のスコア区間。
doi.orgで開く - Statistical Science2001
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101-133.
手法に関する標準的なレビューです。教科書の±区間がうまく機能しないことを示し、小さなサンプルにはウィルソン区間を推奨しています。
doi.orgで開く - The American Statistician1998
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119-126.
ウィルソン（スコア）区間が、教科書の公式よりも確実に真の割合をカバーすることを示しています。
doi.orgで開く - Statistics in Medicine1998
Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine, 17(8), 857-872.
同じケースで7つの手法を比較し、Wilsonスコア区間を推奨しています。
doi.orgで開く - NIST e-Handbook of Statistical MethodsNIST
NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1: Confidence intervals for a proportion.
米国国立標準技術研究所(NIST)のハンドブックは、Brown、Cai、DasGupta、そして Agresti と Coull が推奨していることに触れつつ、ウィルソン法を紹介しています。
itl.nist.govで開く無料で読めます - Journal of Insect Science, on PubMed Central2003
Payton, M. E., Greenstone, M. H., & Schenker, N. (2003). Overlapping confidence intervals or standard error intervals: what do they mean in terms of statistical significance? Journal of Insect Science, 3(1), 34.
95%範囲が2つ重なっていても、何も変わっていないとは限らない理由：重なりは5%ではなく約1%水準の検定のように振る舞います。
pmc.ncbi.nlm.nih.govで開く無料で読めます - Psychometrika1947
McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157.
2回尋ねた同じ質問を、結果が反転した質問で比較するための検定です。
doi.orgで開く - Evan MillerEssay
Miller, E. How not to sort by average rating.
はい・いいえの投票の割合で項目を順位づける時にウィルソン区間を使うべき理由を、平易な言葉で説明した広く読まれている記事。
evanmiller.orgで開く無料で読めます
95%信頼区間についてのよくある質問
95% とは、数字が正しいと95%確信しているという意味ですか？
少し違います。範囲を求めた手法が、20 回中 19 回は真の率を捉えるという意味です。個々の範囲は真の率を含むか含まないかのどちらかで、95% は多くの測定を通じて手法が正しく捉える頻度です。
なぜ割合だけを表示しないのですか？
少数のAI回答から出した割合は、偶然だけで大きく動くからです。範囲がなければ、53%から45%への低下はニュースに見えますが、ただのノイズかもしれません。範囲は、数値が意味を持つまでにどれだけ揺れうるかを教えてくれます。
なぜ 0% と 100% の近くでは範囲が偏るのですか？
割合は 0% を下回ることも 100% を超えることもないため、ウィルソン法は範囲を端から内側へ寄せます。25 件中 2 件なら約 2%〜25% で、ゼロを割り込んでしまう「8% ±11%」のような対称な範囲にはなりません。
範囲を狭めるには？
回答数を増やしましょう。購買者の質問、エンジン、または追跡日数を増やします。幅は回答数の平方根に比例して狭まるため、回答数を4倍にすると幅はおよそ半分になります。
この範囲で、起こりうる誤りをすべてカバーできますか？
いいえ。この区間がカバーするのは、どの回答がたまたま得られたかという偶然です。どの質問をしたか、日によるエンジンの変化、判定を誤った回答はカバーしません。それらには、購買者が実際にする質問を選び、スケジュールどおりに質問し直し、回答を保存して確認できるようにすることで対処します。
2本のバーが重なっています。何も変わっていないのですか？
必ずしもそうではありません。同一のサンプルから得た 2 つの 95% 範囲は 99% 以上の確率で重なるため、重なりは非常に厳しい検定で、本当の変化を見逃します。バーが触れていなければ変化は本物です。触れている場合は、回答が変わった質問を比較してください。
次に読む
候補リストは今まさに書かれています。
どの購買者の質問があなたのブランドに言及しているか、代わりにどのブランドに言及しているか、何を改善すべきかを確認。200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。 カード不要。
200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。
Google AI OverviewsGoogle AI Mode
Google AI OverviewsGoogle AI Mode