一次點名您的檢查，與 20.7% 的真實比率同樣吻合
品牌最常用來了解自己在 AI 搜尋中位置的方法，是有人問一次問題、讀一下回答，然後鬆一口氣或開始恐慌。那一則回答接著就成了下次會議上大家重複的數字。
請如實看待它。一個問題、問一次、結果只有是或否，就是從一枚偏差未知的硬幣中取出大小為一的樣本。Wilson 分數區間是為這種比例設定上下限的標準方法。以 95% 信心水準計算一次試驗中一次成功，得到的答案是 20.7% 到 100%。
白話來說：一個在單次檢查中點名您的模型，與一個每五則回答才點名您一次的模型完全吻合。截圖無法區分兩者，您也不能。
沒被點名的情況更糟。一次中零次，信賴區間是 0% 到 79.3%，而團隊常常就憑這個改寫整個內容計畫。
同一個 Prompt 回傳不同答案，是因為還有誰在同時詢問
如果引擎是確定性的，這就無關緊要。但它們不是，而原因比一般含糊的「隨機性」說法更具體。OpenAI 在自己的 API 指引中直接寫明：Chat Completions 預設為非確定性，也就是模型輸出可能每次請求都不同。設定 seed 能換來同一頁所說的「大致確定」的輸出，OpenAI 也提供 system fingerprint，讓您知道後端變更何時改變了底層條件。
Thinking Machines Lab 實際測量過。2025 年 9 月，該實驗室以溫度為零（也就是貪婪抽樣，理論上應完全可重現）從 Qwen3-235B-A22B-Instruct-2507 抽樣 1,000 次完成結果，使用的 Prompt 是 "Tell me about Richard Feynman"。他們得到 80 種不同的完成結果，最常見的一種出現 78 次。全部 1,000 次執行在前 102 個 token 都一致，在第 103 個 token 分岔：992 次接著寫 "Queens, New York"，8 次寫 "New York City"。
他們找出的原因不是 GPU 的隨機性。核心運算在每次執行之間是確定的，但它們不具批次不變性，所以請求會因落入的批次不同而得到略有差異的運算，而批次大小取決於伺服器負載。他們的結論值得讀兩遍：幾乎所有 LLM 推論端點之所以是非確定性的，主要原因在於負載，也就是批次大小，會以非確定的方式變動。
這表示您截圖的那則回答，部分取決於同一秒有多少陌生人在查詢同一個端點。這不是關於您品牌的訊號。
二十個樣本仍留下四十個百分點的範圍
一旦接受能見度數字是從樣本估計的比例，下一個問題就是樣本要多大。Wilson 信賴區間給出答案，而這個答案令人謙卑。以下都假設模型有 60% 的時候點名您：
- 5 個樣本，3 次提及：23.1% 到 88.2%。範圍 65 個百分點。您只知道品牌存在。
- 20 個樣本，12 次提及：38.7% 到 78.1%。範圍 39 個百分點，幾乎是整個量表。
- 40 個樣本，24 次提及：44.6% 到 73.7%。現在可以排除完全不被看見的可能。
- 100 個樣本，60 次提及：50.2% 到 69.1%。仍有 19 個百分點寬。
- 366 個樣本：信賴區間第一次縮小到正負 5 個百分點。要達到正負 3 個百分點需要 1,021 個。
AI 能見度儀表板上報告的變動，大多其實沒有發生
從這裡開始，算術會讓人付出代價。第一週對一個 Prompt 抽樣 40 次，看到 24 次提及；第二週再抽樣 40 次，看到 32 次。這看起來是從 60% 跳到 80%，到週五就會出現在簡報上。
兩個信賴區間分別是 44.6% 到 73.7% 與 65.2% 到 89.5%。它們重疊。40 個樣本上的 20 個百分點擺盪還不算結果，正確的說法是：什麼都還沒有被確立。這樣做幾次之後，大家就不會再追著雜訊跑。
這就是為什麼我們在 Proofsource 中依據信賴區間而不是點估計來觸發警示，也是為什麼我們報告中的每個能見度百分比旁都附有 Wilson 信賴區間。在雜訊這麼多的系統上，數字一越線就觸發的警示會不停作響。等到信賴區間分開才觸發的警示，只在真的有事發生時作響。
同樣的邏輯也適用於零。20 個樣本中零次提及，上限是 16.1%；40 個中零次，上限是 8.8%。如果您想主張某個引擎從不點名您，40 個樣本大約是這個主張開始有意義的地方。
使用 Wilson 信賴區間，而不是您學過的那一種
補充一個技術說明，因為最直覺的替代方法恰好在這裡最重要的情況下失效。多數人學過的是 Wald 信賴區間，建立在單純的常態近似上。對一次試驗中一次成功，它給出 100% 到 100%；對一次中零次，它給出 0% 到 0%。它告訴您單次檢查是確定的，而這正是我們想修正的錯誤。
這早有文獻記載。Brown、Cai 與 DasGupta 在《Statistical Science》的回顧中發現，Wald 信賴區間不穩定的涵蓋率遠比一般認知的更持久，教科書中關於何時可安全使用的常見說法具誤導性且有缺陷、不可信賴，並建議小樣本使用 Wilson。回答引擎的抽樣就是小樣本，因為您追蹤的每個 Prompt 都有自己的計數。
週一該做什麼
這些都不需要購買任何東西，只需要改變您記錄的內容。
- 停止報告單次檢查。如果截圖就是證據，那麼結論只是「品牌可能出現」，僅此而已。
- 在查看資料之前先決定樣本大小，並在每個期間維持相同。讀數之間改變 n，會讓兩個數字無法比較，即使兩者都是誠實的。
- 報告信賴區間，而不是單點。一列寫著 60%、範圍 45 到 74，比只寫 60% 更不容易被過度解讀。
- 依信賴區間是否分開設定警示門檻，並把樣本分散在不同天。兩個重疊的信賴區間不算變化，不論中點看起來差多少。
這可能錯在哪裡
上述 Wilson 數字是依所述輸入算出的精確結果，所以數字本身沒有疑問。有疑問的是背後的模型假設。Wilson 信賴區間假設各次試驗彼此獨立且成功機率固定，而對線上引擎的重複查詢並非完全獨立：個人化、快取、對話情境，以及週中推出的新模型版本都會違反這個假設。請把這些信賴區間視為不確定性的下限，而不是完整的計算。
Thinking Machines 的實驗是在該實驗室自己的系統上執行自行託管的開放權重模型，而不是 ChatGPT、Gemini 或 Perplexity。它證明的是機制，而不是任何商業產品的變異程度，而這些廠商都沒有公布自己的數據。
樣本大小表中的 60% 只是示意。我們選它是因為信賴區間在中間附近最寬，所以這是保守的情況。位於 5% 或 95% 的品牌，要達到相同的絕對精確度所需樣本較少。
我們願意捍衛的是錯誤的方向。小樣本、單次檢查與沒有信賴區間的點估計，全都把人推向同一邊：相信自己衡量到了什麼，其實沒有。
