沒有人告訴您該怎麼處理已經在螢幕上的兩個數字
您的 AI 能見度數字變了。上週的執行顯示 42% 的 prompt 提及您，這週是 30%。十二個百分點。在您開始尋找哪裡出了問題之前，有一個更小的問題擋在前面：真的有發生什麼事嗎？
公開的建議很少，而且全都是關於您的下一次量測。執行更多樣本。改為每週追蹤而不是每天。保持 prompt 組合固定。聽起來都對，但對您手上已有的兩個讀數毫無幫助。所以大多數人會退回到儀表板最容易做的事，檢查誤差線是否重疊。那是錯誤的檢定，而且錯的方向幾乎沒有人想到。
在什麼都沒變時，兩個 95% 信賴區間重疊的機率超過 99%
Mark Payton、Matthew Greenstone 與 Nathaniel Schenker 在 2003 年的 Journal of Insect Science 中算出了這個結果。從兩個真正相同的母體各取一個樣本，並各自加上 95% 信賴區間。這兩個區間多常重疊？他們的大樣本計算結果是超過 99%，而他們的模擬，在 n=10 下做了 10,000 組，結果是 0.995。
所以檢查 95% 信賴區間是否重疊，不是 5% 的檢定，而是更接近 1% 的檢定。您幾乎永遠不會判定差異是真的，即使它確實是真的。
同一篇論文也做了相反的情況。單純的標準誤差線在什麼都沒發生時，重疊的機率是 84.3%，所以用肉眼看這種誤差線，等於誤報率接近 15% 的檢定。每六次就有一次，您會去尋找根本不存在的原因。
他們也提供了修正方法。在標準誤大致相等的情況下，要讓重疊檢查的表現像 5% 的檢定，區間寬度應約為 83% 或 84%。在 n=10 時，他們的 84% 區間重疊了 94.9%，正是您要的 5%。
一次下降、三種判決，而業界用的是最安靜的那一種
替這次從 42% 降到 30% 的變化做真正的算術。假設是對一個引擎執行 200 個 prompt，第一次有 84 個提及您，第二次有 60 個。
- 95% Wilson 信賴區間：42% 落在 35.4% 到 48.9%，30% 落在 24.1% 到 36.7%。兩者重疊約一個百分點。判決：沒什麼好看的。
- 對同樣兩個數字做標準的雙比例檢定：z = 2.50，p = 0.012。判決：是真的。
- 依上述修正使用 84% Wilson 信賴區間：37.2% 到 47.0% 對比 25.7% 到 34.7%。清楚分開。判決：是真的，而且現在與檢定結果一致，這正是調整的目的。
相同的 prompt 執行兩次是配對量測，而配對正是檢定力的來源
這三者底下還有一個更大的錯誤。雙比例檢定把兩次執行當作獨立樣本，但它們不是。對同一個引擎重新執行同樣的 200 個 prompt，每個 prompt 都被量測了兩次，所以比較應該逐個 prompt 進行。
大多數 prompt 不會改變，而兩次都提及您或兩次都沒提及的 prompt，無法告訴您任何關於變化的資訊。資訊完全在那些翻轉的 prompt 中。
假設有 30 個 prompt 不再提及您，6 個開始提及您。淨變化同樣是 24 個 prompt，同樣是 12 個百分點。對這 36 個翻轉做 McNemar 檢定，也就是配對二元資料的標準檢定，得到自由度 1 的卡方值 16.0，所以 p 約為 0.00006。對相同資料做獨立檢定得到的是 0.012。配對去除了 prompt 之間彼此差異所帶來的變異，只留下您真正想問的那個變異。
如果在兩次執行之間更換 prompt 組合，您就放棄了這一點，沒有任何統計量能把它還給您。保持組合固定，新 prompt 則另外建立自己的序列。
我們的警示也用保守的關卡，而這會讓您付出以下代價
我們的警示規則需要兩個條件。新舊分數的 Wilson 信賴區間不能重疊，而且變化必須在您選定的方向上超過您設定的門檻。區間檢查會先執行，所以只要誤差線相碰，無論門檻怎麼設都不會觸發。
這是保守的關卡，是我們刻意選擇的。沒人信任的警示比沒有警示更糟。但依上面的數字，它大約是 1% 的檢定，所以範例中 12 個百分點的下降會悄無聲息地通過。這是真實的代價，我們寧可寫下來，也不要讓您自己發現。
在算術之下，還有一個更重要的下限。對一個沒人動過的網站重新執行相同的 prompt 組合，數字仍然會變動，因為引擎不會重複自己。OpenAI 自己的文件直接說明：chat completions 預設是非確定性的，即使設定了 seed，他們的系統也只會「盡力以確定性方式抽樣」，而且「不保證確定性」。在我們自己的抽樣中，我們看到被提及的名單每天有 9% 到 27% 會更替，落在哪裡取決於引擎。這還是在沒有人發布任何東西的情況下。
這就是為什麼 Proofsource 會執行重測報告：相同的固定 prompt、相同的引擎，每天兩次，在一個沒有改變的網站上。它會在您設定門檻之前，先告訴您自己的雜訊有多大。跳過這一步，您的門檻就只是猜測。
這可能在哪裡出錯
Payton 等人的結果是針對常態母體的平均值推導的，假設標準誤相等且樣本夠大。能見度是比例，而 Wilson 信賴區間在接近 0 與 100% 時會變得不對稱。方向可以直接套用，也就是 95% 重疊對 5% 檢定來說太保守了，但請把 83% 到 84% 當作我們這種情況的經驗法則，而不是證明。接近極端值時，請直接執行檢定本身。
範例是算術，不是量測。200 個 prompt、84 與 60、30 個對 6 個翻轉，都是我們挑選來彼此一致、用以呈現差距的數字。您的數字會不同，而翻轉的分布才是該看的地方。
統計顯著性與「是您造成的」是兩個不同的主張，這裡只談第一個。相對於抽樣雜訊，p = 0.00006 說明引擎的行為在兩次執行之間改變了，但完全沒有說明原因。在我們量測到的更替程度下，顯著的變化仍可能只是引擎自己的漂移。
9% 到 27% 這個數字是我們自己的。那是我們在抽樣的引擎上看到的情況，不是公開的常數，也不能取代您自己的量測。
