每份指南都說要開新對話，接著描述一個問了五輪的買家
檢查回答引擎是否提及您品牌的標準做法，是寫一組買家問題，每個都在沒有任何先前脈絡的全新對話中執行，並記錄誰被提及。我們也這樣做，理由很充分：一個您已經把話題引向自家品牌的對話，告訴您的是被預熱過的模型會說什麼，而不是冷啟動的買家看到什麼。
接著讀讀同樣這些指南怎麼描述買家的行為。挑選廠商的人會問要注意什麼、提到一個限制條件、要求比較、問哪裡買。Google 把這當作產品的重點：它的 AI Mode 說明頁面說，您可以問任何問題並得到回應，還能透過追問深入了解。這些引擎所圍繞的互動是多輪的。而每份 AI 能見度報告中的每個數字，都是第一輪的數字。
一項 200,000 次對話的實驗發現，下降在第二輪就出現
關於這件事，存在一項大型對照量測。Microsoft Research 的 Philippe Laban 與 Jennifer Neville，以及 Salesforce Research 的 Hiroaki Hayashi 與 Yingbo Zhou，在 2025 年 5 月 9 日發表了這項研究。他們取了六種生成任務中的 600 個完整指示，把每個指示拆成多個片段，並讓模擬使用者每輪最多透露一個片段。十五個模型，超過 200,000 次模擬對話。
在一則訊息中拿到完整指示時得分約 90% 的模型，在相同資訊分散於多輪傳達時，得分約為 65%。對所有模型與任務取平均，退化幅度為 39%，而且每個模型在每項任務上都有退化。
拆分指示可能只是在改寫時遺失了資訊。他們對此做了控制：把相同的片段重新串接成一份項目清單，得分是原始分數的 95.1%。改寫幾乎沒有代價，代價全在輪次上。改變拆分的細緻程度，從兩個片段到八個片段，損害在兩個片段時就出現，之後持平。
模型並沒有變得比較不能幹，而是變得比較不可重複
如果您要向任何人報告一個百分比，這是關鍵所在。論文把表現拆成能力，即重複執行中第 90 百分位的分數，以及不可靠性，即第 90 與第 10 百分位之間的差距。多輪的能力下降約 16%，不可靠性卻上升 112%。最佳的多輪執行幾乎和最佳的單輪執行一樣好，最差的則差得多，對固定指示而言，離散程度平均約 50 分。
兩種常見的補救方法都沒有用。o3 與 DeepSeek R1 和其他模型一樣迷失了，作者歸因於長度：推理模型寫出的回答長了約 33%，把更多自己的假設帶到後面。降低溫度在單輪設定中讓不可靠性下降了 50% 到 80%，在多輪設定中卻毫無幫助，即使固定為零，仍維持在 30% 左右。
把這個結果拿來對照能見度報告。在第一輪讀一次的候選名單，本來就是一個雜訊過程的單次樣本，這也是為什麼我們在每個百分比旁都公布信賴區間。在第三輪讀一次的候選名單，則是一個離散程度加倍的過程的單次樣本。
您第一輪的候選名單會成為第二輪的輸入
OpenAI 有記載這個機制。每個請求都是獨立且無狀態的，多輪對話的運作方式是把先前的訊息連同新訊息一起再送一次。OpenAI 也指出，即使您用 ID 串連回應，每個先前的輸入 token 都會再次以輸入 token 計費。歷史不是被記住，而是被重新傳送，其中也包括助理自己先前的回答。
所以當買家追問時，模型會把它自己第一輪的候選名單當作輸入的一部分來讀，而 Laban 等人把過度依賴先前的回答列為造成這個效應的四個原因之一。這指向一件我們尚無法證明的事：在第一輪，您是在爭取一個位置；在第二輪，您是在和模型已經寫好的清單爭辯。沒有人在品牌候選名單上量測過這一點。這是我們願意押注的解讀。
我們量測什麼，以及我們都沒有的那個數字
Proofsource 在設計上就是單輪抽樣。我們重複詢問每個 prompt，用 Wilson 信賴區間而不是單點來為能見度評分，並執行連續兩天詢問同一個問題的重測報告。這些都沒有把追問當作追問來抽樣。我們所知的工具都沒有這樣做，包括我們的，我們寧可寫下這一點，也不願暗示我們有自己缺乏的涵蓋範圍。
我們能呈現的是相鄰的效應：改變問題，被提及的名單就會改變。在一份針對某個商業軟體類別單一品牌的完整報告中，類別問題回傳了十四家廠商，而該品牌不在其中。直接用名稱詢問時，同一個引擎稱它為該類別的領先平台之一，並給予四到五顆星的評價。在同一個商業問題的十六種說法中，有六個競爭對手出現在十一種以上的說法裡，該品牌最多只出現在兩種。這是我們的資料，一個品牌、一個引擎，而且是說法的結果，不是輪次的結果。
- 把追問寫成獨立的 prompt。「最佳專案管理工具」與「適合十二人、零預算團隊的最佳專案管理工具」是兩個 prompt，不是一個。
- 把限制條件放在第一則訊息中。這是論文給使用者的建議，也是取得下個月仍能比較的讀數的唯一方法。
- 不要再把三輪對話的截圖當作證據，無論結果是好是壞。那只是目前所有人量測過的最不可重複設定中的一次執行。
這可能在哪裡出錯
最大的落差在於推論的轉移。六項任務分別是 Python 函式、SQL 查詢、API 呼叫、小學算術、表格說明文字與針對查詢的摘要。沒有一項是推薦廠商。論文證實了模型會在需求分輪送達時失去追蹤，而且在這種情況下可重複性大幅下降。它並沒有證實品牌候選名單也會有同樣的表現。我們認為會，但我們沒有量測過。
它的使用者是由一個小模型模擬，而不是真人，任務也都是英文、純文字且偏分析性。作者列出了這些限制，並主張他們的條件相當溫和，真實情況的退化可能更大，這支持了方向，但對幅度則沒有可靠的說法。這些也都是 2025 年的模型，而我們追蹤的四個引擎沒有一個公布自己的多輪可靠性數字。
我們十六種說法的數字是一個品牌、一個類別、一個引擎、一份報告。它們顯示是問題在決定清單，而不是輪次的量測。我們也沒有數字說明真實的購買對話有多常超過一輪：Google 說追問是 AI Mode 的重點，這是設計上的陳述，不是頻率。
我們會辯護的觀點很窄，對我們來說也有點尷尬。這個類別中每個產品報告的都是第一輪，每個人談論的都是對話，而現在我們沒有一個人在量測兩者的差異。
