ChatGPT 為什麼對同一個問題給出不同回答?
因為它是從機率中抽樣選擇每個字,而不是查詢儲存好的回覆。OpenAI 的 API 文件說明,聊天補全預設是非確定性的,也就是說模型輸出可能每次請求都不同。即使開發者固定了所有設定,也被提醒 OpenAI 自己對模型設定的變更可能影響結果。
在簡短的事實性回答中,措辭會變但內容不變。在推薦產品清單中,同樣的抽樣決定哪些名字入選以及排列順序,所以清單中的品牌可能每問一次就不同。
ChatGPT 會為每位使用者個人化回答嗎?
有可能。ChatGPT 的記憶功能讓它記住先前對話中的細節並在之後的回答中使用,使用者也可以加入關於自己的自訂指示。曾告訴 ChatGPT 自己預算、所在地或喜愛品牌的人,可能會得到受此影響的入選名單。
使用者可以關閉記憶功能,暫時聊天也不會使用它。未登入的訪客則完全沒有歷史紀錄。這些是最接近中立回答的情況,但即使如此仍然是取樣結果。
所在地會改變 ChatGPT 的回答嗎?
ChatGPT 搜尋網路時,確實可能會。搜尋回傳的頁面取決於執行地點,而 OpenAI 提供給開發者的網路搜尋工具會接收大致的使用者位置(國家、城市、地區和時區),依地理位置調整結果。倫敦和芝加哥的買家同樣詢問「最好的薪資軟體」,可能各自得到當地的選項,而兩個回答對各自的提問地點都是正確的。因此在 Proofsource 付費方案中,每個問題都能從其目標市場提問,每個市場也都會分開解讀。
ChatGPT 的模型改變時,回答會跟著改變嗎?
是。OpenAI 會隨時間替換 ChatGPT 背後的模型,每個模型學習的文本不同,對來源的權重也不同。上個月的回答可能來自和今天不同的模型。因此嚴謹的追蹤工具會記錄每則回答背後的模型版本,Proofsource 正是這麼做。
AI 回答每天實際變化多少?
比大多數品牌擁有者以為的還多。在 Proofsource 自己的抽樣中,引擎回答中被點名的品牌有 9% 到 27% 會在隔天更換,依引擎而定:Perplexity 變動最大,Claude 最小。而這是在沒有任何人發布任何內容的情況下。
小樣本會掩蓋這一點。在公開的 Tesla 範例中,ChatGPT 在 25 則買家回答中有 16 則點名 Tesla,也就是 64%,但 95% Wilson 信賴區間約落在 45% 到 80% 之間。換一天再取 25 則回答,即使什麼都沒變,也可能落在這個範圍內的任何位置。
兩則回答不同的三個原因
每個回答都是一次抽樣
模型依機率選字,因此同一個 Prompt 可能產生不同的清單。
記憶與位置
已儲存的記憶、自訂指示以及搜尋執行的地點,都可能影響結果。
模型會變
ChatGPT 背後換上新模型後,同一個問題可能點名不同的品牌。
要如何衡量每次都不一樣的 ChatGPT 回答?
從沒有個人紀錄的工作階段多次詢問相同問題,並回報附區間的比率,而不是單一結果。Proofsource 就是這麼做的:它在 ChatGPT, Perplexity, Claude 和 Google AI Overviews 上詢問您的買家問題,保存每個回答,記錄點名了哪些品牌以及每個回答出自哪個模型,並為每個比率加上 95% Wilson 信賴區間。
只有在變化大於信賴區間時才會標記,所以平靜的星期二不會被報告成危機。方法說明在方法論頁面,試用為 2 天完整 AI 能見度, 今天和明天。
如果您正在 ChatGPT 中查自己的品牌,這代表什麼?
- 您自己的對話是最不可靠的測試。您的記憶與歷程可能讓 ChatGPT 偏向您的品牌。
- 使用臨時對話或未登入的視窗以取得較乾淨的結果,並像買家一樣提問,不要帶上您的品牌名稱。
- 多問幾次,並且在不同天提問,再下結論。
- 檢查其他引擎。Perplexity、Claude 與 Google AI Overviews 對同一問題的回答可能與 ChatGPT 不同。
關於 ChatGPT 回答的常見問題
如果我問的時候 ChatGPT 點名了我的品牌,我的客戶也會看到相同的回答嗎?
不一定。您自己的對話可能帶有偏向您的記憶或指示,而且每則回答都是重新抽樣。請從臨時對話或未登入的視窗檢查,多問幾次,並把結果當作比率,而不是是或否。
ChatGPT 對同一個國家的每個人都給相同的回答嗎?
不會。位置會縮小網路搜尋回傳的範圍,但抽樣、記憶與模型版本仍會讓同一個城市的兩個人得到不同的回答。
暫時對話會給出中立的回答嗎?
它把記憶因素排除在外,所以比您平常的對話更公平。但它無法排除抽樣,所以兩個暫時對話仍可能不同。
Perplexity、Claude 與 Google AI Overviews 也會變動嗎?
是。在 Proofsource 的抽樣中,被點名的品牌每天有 9% 到 27% 會更替,視引擎而定,Perplexity 變動最多、Claude 最少。Google AI Overviews 也是某些查詢會出現、某些不會。
- OpenAI API 文件:進階用法(可重現的輸出) developers.openai.com/api/docs/guides/advanced-usage
- OpenAI 說明中心:記憶功能常見問題 help.openai.com/en/articles/8590148-memory-in-chatgpt
- OpenAI API 文件:網路搜尋(使用者位置) developers.openai.com/api/docs/guides/tools-web-search
來源查閱日期:.