我們有 API 和 chatgpt.com 回答同樣 172 個買家問題的資料
Proofsource 透過 DataForSEO 的爬取工具,從登出狀態的頁面讀取 ChatGPT,呈現品牌所在市場的訪客會看到的樣子。當這種讀取失敗時,改由 OpenAI API 回答:透過 Responses API 使用 gpt-5-mini 並開啟網路搜尋。在 2026 年 10 月 4 日至 18 日間的 5,119 個 ChatGPT 回答中,有 428 個是這種情況,全部發生在 10 月 8 日至 12 日之間。
這留下了一個自然的比較。我們取了每個 API 有回答、而 chatgpt.com 在 36 小時內也回答了同一問題的買家問題(沒有提到品牌名稱的問題)。共 172 個問題、18 個工作區,大多以美國或印度訪客身分詢問。兩個回答之間的中位間隔為 24 小時。
相隔一天並不是同一時刻,而 ChatGPT 自己的回答每天都會變。所以我們還需要一個基準:同一兩週內來自 62 個工作區、chatgpt.com 連續兩天回答且文字有變化的 813 個買家問題。任何大於這個基準的差距都屬於管道本身,而不是日期。
品牌比率維持住了:API 為 19.8%,chatgpt.com 為 21.5%
在 172 個問題中,API 點名品牌 34 次,chatgpt.com 37 次。兩個回答在 19 個問題(11.0%)上對品牌的判斷不一致,而 chatgpt.com 隔天與自己不一致的比例為 4.6%。所以 API 在逐題層面增加了雜訊,但平均而言結果相近。
它也點名了更多名字。API 的回答平均提到 8.4 家公司,chatgpt.com 為 6.0 家,兩組名字的重疊率為 33%,而 chatgpt.com 相隔一天的重疊率為 48%。就品牌追蹤的競爭對手而言,重疊率為 66% 對 76%。
來源卻沒有:API 引用的網站中只有 22% 出現在 ChatGPT 的回答裡
API 的 172 個回答引用了 1,047 個網站(每個回答計一次)。其中只有 229 個(21.9%)也出現在 chatgpt.com 對同一問題的回答中。當 chatgpt.com 隔天再回答時,有 48.6% 的網站重複出現。在 170 個兩邊都有引用的問題中,有 40 個 API 和 chatgpt.com 完全沒有共同的網站。
組成也不同。API 在 172 個回答中有 41 個引用 Reddit(23.8%,95% 信賴區間 18.1% 到 30.7%),chatgpt.com 只有 5 個(2.9%)。API 在 12 個回答中引用 Wikipedia,chatgpt.com 一個都沒有。當 chatgpt.com 引用這兩個網站時,我們的爬取工具確實能擷取到;只是在這些問題上它很少引用。
API 也搜尋得更多,每個回答 4.5 次,chatgpt.com 為 3.1 次。長度差不多,中位數為 583 字對 587 字。
Surfer 在每個管道只取一個回答時發現了更大的差距
Surfer 的研究資料收集於 2026 年 8 月 4 日,以兩種方式在五個產品上執行了 1,000 個 Prompt。對 ChatGPT,它回報網域重疊率為 4.8%,API 回答的長度約為兩倍。其自己的注意事項說明每個 Prompt 只抽樣一次,所以部分差距來自 ChatGPT 與自己的不一致。
我們的數字沒那麼戲劇化,但方向相同。與同管道基準相比,品牌比率是 API 大致做對的部分,引用清單則是它做錯的部分。
相信一個工具的來源之前該問什麼
四個問題,供應商應該能各用一句話回答。
- ChatGPT 的回答來自哪裡:API,還是訪客看到的頁面?請針對每個引擎詢問。
- 如果是 API,用的是哪個模型,網路搜尋是開還是關?OpenAI 的文件說明由模型決定是否搜尋,而呼叫者會設定搜尋情境大小和網域篩選等控制項,這些都是 chatgpt.com 訪客碰不到的。
- 備援回答有沒有標示?混合兩種管道的圖表會掩蓋這種切換。
- 如果非用不可,可以用 API 資料估算粗略的提及率。不要用它的引用來建立外展清單。
Proofsource 如何處理
每個儲存的回答都保留撰寫它的模型,回答檢視中也會顯示,所以備援回答會顯示為 gpt-5-mini,而不會被當成 chatgpt.com。這些備援回答在它們執行的那幾天確實計入 ChatGPT 的數字,所以我們才測量它們偏離了多少。
這可能出錯的地方
API 這一邊是採用我們設定的單一模型:gpt-5-mini、低推理強度、低搜尋情境。呼叫更大模型或採用不同設定的工具,結果可能更接近或更遠。
API 只在爬取工具失敗時執行,這些配對發生在 10 月 8 日和 9 日。如果那些失敗集中在特定問題,配對就不是隨機抽取。基準來自更廣的工作區範圍;限縮到相同的 18 個工作區時,網站重疊率仍為 31.7%,名字重疊率為 44.2%。
chatgpt.com 在 10 月 8 日從 GPT-5.6 改為 GPT-6,所以 172 個 chatgpt.com 回答中有 41 個來自新模型。切換前後的重疊率相近。
網站以網域比較,所以同一網站上的兩個不同頁面算作相符。頁面層級的重疊率會更低。名字和引用來自我們自己的擷取,漏抓在兩個管道上的影響相同。