有一則回答點名了您
本週1 / 1
100%
能見度：100%。這個問題是您的。
相同的資料，兩份報告。您會依據哪一份採取行動？
沒有範圍的數字可能完全正確，卻仍把您帶往錯誤的方向。切換兩種解讀看看。
其實沒有發生的下滑
上週4 / 10
40%
本週2 / 10
20%
能見度減半，從 40% 降到 20%。有東西壞了。
差距太小的排行榜
您的品牌6 / 10
60%
競爭對手4 / 10
40%
您領先，60% 對 40%。
真正的勝利
修正之前60 / 200
30%
修正後100 / 200
50%
能見度從 30% 升到 50%。
上面每個標題在算術上都是正確的，但四個中有三個會把您帶往錯誤的方向。切換看看原因。
一個可信的較小數字，勝過一個不真實的較大數字。這就是範圍存在的全部理由。
一句話的答案
100 則回答中有 53 則提到 Tesla，所以其提及率為 53%，95% 區間為 43% 到 62%。再問一次同樣的買家問題，53% 每次都會略有不同；區間的設計是 20 次中有 19 次，會涵蓋您無限次提問所得到的比率。
圓點是我們測得的比率 53.0%。橫條是 95% 信賴區間，從 43.3% 到 62.5%。可解讀為：在這些問題的回答中，Tesla 被點名的比例大約介於 43% 到 62% 之間，最可能接近 53%。
持續觀察：一再詢問相同的問題
這些報告之間什麼都沒變：真實比率是固定的。只有機率改變了回傳的是哪些回答。按下按鈕，看看每份報告落在哪裡。
真實比率（永遠問下去會得到的數字）
每份報告的回答數
10 份報告，每份來自 25 則回答。標題數字介於 24.0% 到 52.0%，但其實什麼都沒變：真實比率始終是 40%。
10 個中有 10 個區間（100%）涵蓋虛線標示的真實比率。持續提問，此設定下會穩定在 93.6%，接近 20 次中 19 次：回答是整數，所以精確數字會在 95% 附近小幅浮動。還沒有未出現的結果；繼續詢問，偶爾就會出現橘色的那一個。
試試您自己的數字
與產品為每個數字執行的相同計算：95% 的 Wilson 分數區間。
53.0% 提及率
95% 信賴區間：43.3% 至 62.5%，上下約 9.6 個百分點。
增加回答數量，看範圍收窄：回答數量變為四倍，寬度大約減半。
為什麼 AI 回答需要範圍
AI 引擎不會給出兩次相同的回答。明天再問同一個問題，或稍微換個說法，被提及的品牌就會改變。
在我們自己的追蹤中，AI 回答的每日變化有 47% 在隔天反轉（40 個買家問題、四個引擎、最長九天）。在某個問題的一種措辭中被點名的品牌，在改寫後的措辭中被點名的比例只有 55%（13,994 個回答）。
因此，單一回答或單一一天，只是對移動目標的一次抽樣。信賴區間把多次抽樣變成誠實的陳述：比率本身，以及我們對它有多確定。
回答越多，範圍越窄
寬度主要取決於數字背後有多少則回答。沿著曲線拖曳看看。
| 回答 | 被點名（30%） | 95% Wilson 信賴區間 | 正負 |
|---|---|---|---|
| 10 | 10 中有 3 | 10.8% 至 60.3% | 約 24.8 個百分點 |
| 25 | 25 中有 8 | 17.2% 至 51.6% | 約 17.2 個百分點 |
| 50 | 50 中有 15 | 19.1% 至 43.8% | 約 12.3 個百分點 |
| 100 | 100 中有 30 | 21.9% 至 39.6% | 約 8.8 個百分點 |
| 200 | 200 中有 60 | 24.1% 至 36.7% | 約 6.3 個百分點 |
| 400 | 400 中有 120 | 25.7% 至 34.7% | 約 4.5 個百分點 |
| 1,000 | 1,000 中有 300 | 27.2% 至 32.9% | 約 2.8 個百分點 |
變化是真的，還是雜訊？
每份週報都會引出的問題。三條規則就能說明。
- 範圍沒有重疊：變化是真的。採取行動。
- 範圍有接觸：這並不能證明什麼都沒變。來自相同樣本的兩個 95% 範圍，重疊的機率超過 99%，所以重疊是非常嚴格的檢驗（為什麼誤差線重疊不是判斷標準）。改為比較從被提到變成未被提到、以及反過來的問題。
- 我們的警示刻意設得很嚴格：只有在區間分開、且變動超過您設定的門檻時才會觸發，所以您收到的每個警示都值得信賴。
什麼是 Wilson 信賴區間
我們顯示的每個範圍背後的方法，由統計學家 Edwin B. Wilson 於 1927 年發表，也是統計文獻建議用於少量是非結果比率的方法。
每個 AI 回答不是提及您的品牌，就是沒有，所以提及率是是非結果的占比：統計學家稱之為二項比例。Wilson 方法分兩步在這個占比周圍畫出範圍。它先把中心稍微往 50% 拉近，回答越少拉得越多，然後在這個中心周圍畫出一個範圍，寬度取決於比率與回答數量。其中 p 為提及您的回答占比，n 為回答數量，95% 時 z = 1.96：
centre = (p + z^2/(2n)) / (1 + z^2/n) half-width = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) ) 95% range = centre - half-width to centre + half-width
大多數教科書中較簡單的公式，也就是比率加減 1.96 個標準誤（Wald 區間），恰好在 AI 能見度所處的情境中失效：小樣本，以及接近 0% 或 100% 的比率。同樣的回答，兩種算法：
| 回答 | 比率 | Simple plus-or-minus | Wilson 95% |
|---|---|---|---|
| 53 of 100 | 53.0% | 43.2% to 62.8% | 43.3% to 62.5% |
| 2 of 25 | 8.0% | -2.6% to 18.6%, 低於零 | 2.2% to 25.0% |
| 0 of 25 | 0.0% | 0.0% to 0.0%, 完全沒有範圍 | 0.0% to 13.3% |
| 25 of 25 | 100.0% | 100.0% to 100.0%, 完全沒有範圍 | 86.7% to 100.0% |
這就是為什麼 Brown、Cai 與 DasGupta 在 Statistical Science（2001）中檢視常見方法後，建議樣本數 40 以下使用 Wilson；為什麼 Agresti 與 Coull（1998）發現它比教科書公式更可靠地涵蓋真實比率；也是為什麼 Newcombe 在 Statistics in Medicine（1998）比較七種方法後偏好它。儀表板、報告、匯出與 API 都計算相同的 Wilson 信賴區間，所以一個數字無論在哪裡讀到，意義都相同。計算公式範例也在什麼是 Wilson 信賴區間？中，我們計算的每個數字都在方法論中說明。
參考資料
方法背後的論文，讓您能自己檢查計算。
- Journal of the American Statistical Association1927
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212.
原始論文：我們的範圍所使用的比例分數區間。
在 doi.org 上開啟 - Statistical Science2001
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101-133.
這些方法的標準綜述。指出教科書的加減區間表現不佳，並建議小樣本使用 Wilson。
在 doi.org 上開啟 - The American Statistician1998
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119-126.
研究發現，Wilson（分數）信賴區間涵蓋真實比率的可靠度高於教科書公式。
在 doi.org 上開啟 - Statistics in Medicine1998
Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine, 17(8), 857-872.
在相同案例上比較七種方法，並偏好 Wilson 分數信賴區間。
在 doi.org 上開啟 - NIST e-Handbook of Statistical MethodsNIST
NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1: Confidence intervals for a proportion.
美國國家標準暨技術研究院（NIST）的手冊介紹了 Wilson 方法，並指出 Brown、Cai 與 DasGupta 以及 Agresti 與 Coull 都推薦此方法。
在 itl.nist.gov 上開啟免費閱讀 - Journal of Insect Science, on PubMed Central2003
Payton, M. E., Greenstone, M. H., & Schenker, N. (2003). Overlapping confidence intervals or standard error intervals: what do they mean in terms of statistical significance? Journal of Insect Science, 3(1), 34.
為什麼兩個重疊的 95% 範圍不代表沒有變化：重疊的判定約等於 1% 的檢定，而不是 5%。
在 pmc.ncbi.nlm.nih.gov 上開啟免費閱讀 - Psychometrika1947
McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157.
用於比較同一組問題問兩次的檢定，依翻轉的問題計算。
在 doi.org 上開啟 - Evan MillerEssay
Miller, E. How not to sort by average rating.
一篇廣為閱讀的淺白說明，論證以是非投票比例為項目排序時應使用 Wilson 信賴區間。
在 evanmiller.org 上開啟免費閱讀
關於 95% 信賴區間的常見問題
95% 是指我們有 95% 的把握數字是對的嗎？
不完全是。它的意思是，畫出這個範圍的方法有 20 次中 19 次會涵蓋真實比率。任何一個範圍要嘛包含真實比率，要嘛不包含；95% 是這個方法在多次測量中正確的頻率。
為什麼不直接顯示百分比？
因為從少量 AI 回答算出的百分比可能因偶然而大幅變動。沒有範圍的話，從 53% 降到 45% 看起來像新聞，其實可能只是雜訊。範圍告訴您一個數字要晃動多少才算有意義。
為什麼範圍在接近 0% 和 100% 時不對稱？
比率不可能低於 0% 或高於 100%，所以 Wilson 方法會讓範圍遠離邊界彎曲。25 個回答中有 2 個，得到的範圍約為 2% 到 25%，而不是會跌到零以下的對稱式 8% 上下 11%。
我要如何讓範圍更窄？
增加回答數量：更多買家問題、更多引擎，或更多天的追蹤。範圍寬度隨回答數的平方根縮小，所以回答數變為四倍，寬度大約減半。
這個範圍涵蓋所有可能出錯的地方嗎？
不能。它涵蓋的是我們剛好拿到哪些回答的機率因素。它不涵蓋問了哪些問題、引擎在不同日子之間的變化，或我們判斷錯誤的回答。這些要靠選擇買家真正會問的問題、依排程重新詢問，以及保存回答讓您能查核來處理。
我有兩條長條重疊了。是什麼都沒變嗎？
不一定。來自相同樣本的兩個 95% 範圍有超過 99% 的機率會重疊，所以重疊是非常嚴格的檢驗，會漏掉真實的變動。長條沒有相碰時，變化是真實的。相碰時，請改為比較回答有變化的那些問題。
