大約每五個名字就有一個在一夜之間從回答中消失
大多數關於掃描頻率的建議都說每週一次,理由是每日判讀雜訊太多。我們想看看雜訊有多大。在 2026 年 10 月 5 日至 13 日間,Proofsource 中的兩個品牌設定各詢問相同的 20 個買家問題,共 40 個,每天在 ChatGPT、Perplexity、Claude 和 Google AI Overviews 上各問一次:一個設定九天,另一個七天。每個設定追蹤自己的品牌和八到九個競爭對手,共 19 個名字。
這給了我們 10,612 個可以比較一個問題、一個引擎、一個名字在連續兩天表現的案例。其中 2,127 個案例的名字出現在第一天的回答中。在這些案例中,有 486 個(22.8%)隔天就消失了(95% 信賴區間 21.1% 到 24.7%)。也有品牌新出現:總計 10,612 組日配對中有 969 組發生變化。
跨 53 個工作區的更廣檢查得到相同的比率。在同一引擎連續兩天回答的 5,024 個問題中,有 427 個在第一天點名工作區自己的品牌,其中 102 個(23.9%)在第二天沒有點名。另有 87 個只在第二天點名,所以總數從 427 變為 412。底下大量變動,表面幾乎沒有變化。
47% 的變化在隔天自行恢復
其中 832 個變化我們也有再隔一天的回答。在其中 393 個(47.2%)中,名字回到了起點:出現、消失、又出現,或相反。在可以再追蹤兩天的變化中(686 個案例),有 252 個(36.7%)在三天中都維持住。
所以當某個回答一夜之間不再點名您時,明天再點名您的機率接近一半。把單一回答的變化當成從某個分布中的一次抽樣,等它維持住之後再採取行動。
單日數值與一週平均的差距在 3.6 個百分點以內
整體數據講的是比較平靜的故事。在兩個設定共同的七天(10 月 5 日至 11 日),我們取了每週提及率至少 5% 的所有名字和引擎組合,共 55 個,並把每天的比率(20 個回答)與該週平均比較。中位差距為 3.6 個百分點。385 個每日判讀中有 27 個(7.0%)相差 10 個百分點以上,四個相差 15 個以上,最大差距為 20。
這個差距比擲硬幣所得的要小,因為同樣的問題每天都會回來,而它們的回答大多維持不變。在一組固定的問題中,變動大多會互相抵消。
但糟糕的週確實存在。ChatGPT 上某個追蹤中的競爭對手,在 5 日(週一)被 75% 的回答點名,在 9 日(週五)則是 45%;只看這兩天,看起來像是下跌了 30 個百分點。整週來看,它在 140 個回答中被點名 89 次,即 63.6%(55.3% 到 71.1%),根本沒有下跌。在 20 個回答上,45% 的信賴區間是 25.8% 到 65.8%,這才是解讀單日數值的誠實方式。
依據它要支援的決策來選擇頻率
每日掃描收集的回答是每週掃描的七倍,執行成本也大約是七倍。這能換來什麼,取決於您要用這個數字做什麼。
- 針對一大組固定問題向管理層回報趨勢:通常每週就夠了。即使在我們 20 個問題的組合上,大多數單日數值也只與該週差幾個百分點,而更大的組合會更接近。
- 追蹤 20 個以下的問題:每次判讀的樣本都很小,所以某個異常的一天會大幅影響數字。在一週內平均每日掃描,能給您七次判讀而不是一次,信賴區間也窄了約 2.6 倍。
- 測試您剛上線的改變:每日掃描能告訴您回答在哪一天變動,以及變動是否維持。每週掃描可能把一次無關的晃動放在您上線後的那一週。
- 無論哪種情況,都不要因為單一回答翻轉就採取行動。等變化維持兩三天,或等兩次判讀的信賴區間分開。
Proofsource 如何處理
Proofsource 方案以每日或每週執行,依方案選擇。在每日方案中,每個問題每個 UTC 日在每個引擎上詢問一次;每週方案則每週執行一次。每個提及率都附有 Wilson 信賴區間,只有當兩次判讀的區間不重疊且變動超過您設定的門檻時才會發出警示,所以單日的晃動不會驚動任何人。這個規則很保守,可能讓一次小幅的真實變動等上幾天才被發現。
這可能出錯的地方
長期序列來自兩個類別的兩個品牌設定、40 個問題,期間為 2026 年 10 月的一週,而且只有 55 個名字常見到足以與其週平均比較。其他類別,或有模型更新的那一週,變動可能更大。53 個工作區的檢查每個問題只涵蓋連續兩天。
這裡的「變化」是指追蹤中的名字是否出現,依我們的擷取判讀。某一天的擷取漏抓看起來就像變動,所以 22.8% 中有一部分可能是我們的問題而不是引擎的。我們每個問題每個引擎每天只計一次,並排除了 116 組跨日回答完全相同的日配對,因為那些是重播,不是新回答。
同一問題的回答每天之間是相關的,所以一週的數值變動很小。如果品牌的問題每天都在變,或每週抽樣一組新的問題,就會看到更大的波動。