ウィルソン区間とは?

ウィルソン区間とは、測定した割合が何件の回答に基づくかを踏まえて、その割合が妥当に収まりうる範囲です。 20件中6件で言及されれば30%で、95%ウィルソン区間は約14.5%〜51.9%です。200件中60件でも30%ですが、区間は約24.1%〜36.7%まで狭まります。同じ数値でも確かさはまったく違い、それを見分けるのが区間です。

無料トライアルを始めるデモを依頼

200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。カード不要。

ウィルソン区間はどのように計算しますか?

ウィルソン区間は、成功の数、試行の数、z値(95%なら1.96)から計算します。区間の中心は観測された率から50%の方向へ引き寄せられ、サンプルが小さいほどその度合いが強くなります。E. B. Wilsonが1927年に考案しました(参考、2026年10月15日に確認)。

pを観測された割合、nを回答数、z = 1.96とすると:

中心   = (p + z^2/(2n)) / (1 + z^2/n)
半幅   = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) )

20件中6件:   p = 0.30, n = 20   →  14.5%〜51.9%
200件中60件: p = 0.30, n = 200  →  24.1%〜36.7%

なぜプラスマイナスの区間ではなくウィルソン区間を使うのですか?

教科書に載っている区間、つまりワルド区間は、AI可視性でまさに起きるケースで破綻するからです。小さなサンプルと、0%や100%に近い率です。1回の試行で1回成功すると、ワルド区間は100%〜100%と報告します。1回の確認が確実であるかのように。

Statistical Science誌に掲載されたBrown、Cai、DasGuptaのレビュー(2001年)は、ワルド区間のカバー率が不安定であることを示し、小さなサンプルにはウィルソン区間を推奨しました(論文)。追跡する質問はそれぞれ小さな件数しか持たないため、この選択はレポートのすべての行に関わります。

実際の例では、ウィルソン区間はどう見えますか?

公開しているTeslaの例(2026年10月4日)では、ChatGPTは購買者の質問への回答25件中16件でTeslaに言及しました。64%で、95%ウィルソン区間は約45%〜80%です。Perplexityは25件中10件で言及し、40%、約23%〜59%でした。

24ポイントの差は決定的に見えます。しかし区間は重なっているため、それぞれ25件の回答では注目すべき兆しであって、あるエンジンがTeslaを好んでいる証拠ではありません。4つのエンジン全体では100件中53件で53%となり、区間は43%〜62%とずっと狭くなります。回答が4倍になると、幅はおよそ半分になります。

区間が重なっていれば、何も変わっていないということですか?

いいえ。これは最もよくある誤読です。Payton、Greenstone、Schenkerは、同一の母集団から得た2つの95%区間は99%以上の確率で重なることを示しました。つまり重なりの確認は5%検定ではなく1%検定のように振る舞い、5%検定にするには約83%〜84%の区間が必要です(Journal of Insect Science、2003年)。

200の質問を使った計算例では、42%から30%への低下でも95%区間は重なりますが、標準的な2つの割合の検定ではp = 0.012になります(記事)。重なりは慎重寄りのアラームとして使い、変化を本物かノイズかと判断する前には、きちんとした検定を行いましょう。

Proofsourceではウィルソン区間をどこで確認できますか?

Proofsourceが報告するすべての割合には95%ウィルソン区間が付きます。アラートが発生するのは、2回の読み取りの区間が重ならず、かつ変化が設定したしきい値を超えたときだけなので、1日の揺れで誰かが呼び出されることはありません。このルールは意図的に慎重にしています。アラートと測定方法をご覧ください。