在 72 個網站中有 7 個，單純抓取漏掉了關鍵頁面的主要文字
當 ChatGPT 替某人讀取頁面時，它拿到伺服器回傳的 HTML 就停了。Claude 的讀取器與 Perplexity 的爬蟲也一樣。腳本在載入後寫出的任何內容，都不在它們拿到的東西裡。所以問題在於：重要的文字是否在第一次回應中。
2026 年 10 月 5 日到 17 日之間，Proofsource 檢查了工作區中每個追蹤品牌的首頁與最多四個關鍵頁面。每個頁面抓取兩次：一次由我們自己的爬蟲以不執行腳本的單純請求抓取，一次由會執行腳本的瀏覽器抓取。我們把瀏覽器版本切成文字區塊，計算其中有多少比例的字詞也出現在單純抓取中。
72 個網站上的 211 個頁面取得了可用的讀數。頁面分數的中位數是 95%，211 個中有 144 個得到 90% 以上。有 24 個頁面分數低於一半。
我們逐一人工閱讀這 24 個頁面遺失的文字。其中十二個，分布在 7 個網站上，遺失了買家會讀到的文字。也就是 72 個網站中有 7 個，占 9.7%（95% 信賴區間 4.8% 到 18.7%）。
分數低於 50% 的頁面中，有一半是誤報
另外十二個看起來很嚴重，其實不然。某個網站的四個頁面，遺失的文字是 Cookie 同意面板。一個大型軟體網站的五個頁面得到 7% 到 16%，是因為內嵌圖片程式碼被算成了字詞。其餘則是一個評論表單、一個即時交易計數器與一個音樂播放器。
所以在相信分數之前，先讀那些區塊。百分比分辨不出遺失的是價格表還是 Cookie 橫幅，遺失內容的清單才能。
遺失了什麼：標題、客戶案例與一張價格表
十二個真正的遺失，已匿名處理：
- 三個首頁只回傳一兩個字。其中兩個給單純抓取的只有公司名稱，別無其他。
- 一家軟體公司的客戶案例索引與一則客戶案例得到 0%。每一句客戶引言都是由腳本寫出的。
- 一個開發者工具的價格頁面得到 15%。免費方案的額度、試用條款與方案限制，全都在載入後才出現。
- 某個網站的部落格索引與聯絡頁面也是空白，首頁同樣如此。
- 一位設計師的作品集網站，首頁遺失了個人簡介，以及整份服務清單。
- 一個大型交易平台的首頁與服務頁面只保留 18% 與 7%。商品列表、價格與評分都在頁面載入後才出現。
產品頁面表現最好：31 個中只有 1 個低於一半
產品頁面是我們檢查過最安全的類型：31 個取得讀數，中位數 92%，唯一低於一半的那個只遺失了一個評論表單。首頁風險最高：72 個中有 8 個低於一半，十二個真正的遺失中有五個是首頁。
Google 會算繪頁面，ChatGPT 的讀取器、Claude 與 Perplexity 不會
Vercel 與 MERJ 在 2024 年 12 月發現，主要的 AI 爬蟲都不會算繪 JavaScript，包括 OpenAI 的三個、ClaudeBot 與 PerplexityBot。Gemini 使用 Googlebot 的基礎設施，所以會算繪。
一份較新的記錄對在有人提問時抓取頁面的讀取器也得出同樣結論。Forge 統計了一個新聞網站到 2026 年 9 月 24 日為止 30 天的請求。ChatGPT-User 讀取了 37,045 次頁面，載入頁面時沒有抓取任何腳本。Claude-User 讀取 10,028 次、PerplexityBot 3,193 次，同樣都沒有。在隔天的測試中，ChatGPT、Claude 與 Gemini 都只回報了寫在 HTML 中的暗號，而沒有回報腳本加入的另外兩個。
Google 則不同。它的文件說，無頭 Chromium 會算繪頁面，Google 會為算繪後的 HTML 建立索引，而頁面只需要已編入索引且符合摘要片段資格，就能出現在 AI Overviews 或 AI Mode 中。所以您的腳本寫出的文字可以進入 Google 的 AI 回答，卻在 ChatGPT 即時讀取同一頁面時缺席。
還有一個未解的問題：一位開發者在 9 月 30 日回報，OpenAI 的搜尋與訓練爬蟲從 9 月 25 日起開始在他自己的 Next.js 網站上算繪頁面。OpenAI 沒有宣布這件事，而且這也不會改變上述 ChatGPT-User 的表現。
十分鐘檢查您自己的頁面
初步檢查不需要工具。
- 挑出頁面上重要的三句話：標題、一個價格、一句客戶引言。
- 打開頁面原始碼（不是會顯示算繪後頁面的元素檢查工具），逐一搜尋。從終端機用 curl 取得網址，再用 grep 搜尋。
- 在瀏覽器設定中為該網站關閉 JavaScript 並重新載入。剩下的內容，大致就是這些爬蟲拿到的。
- 忽略缺少的 Cookie 橫幅、聊天小工具與彈出視窗。透過伺服器端算繪、靜態產生或預先算繪，把標題、產品描述、價格、客戶案例與常見問題移進伺服器的 HTML。
- 如果單純抓取得到 403，而您的瀏覽器能載入頁面，請檢查您的 CDN 或防火牆。另有四個網站以這種方式拒絕了我們的爬蟲。我們把它們排除在外，因為封鎖未知機器人的防火牆，仍可能放行已驗證的 AI 爬蟲。
Proofsource 如何處理
Proofsource 會在每個追蹤品牌的首頁與最多四個關鍵頁面上執行這項檢查：以不執行腳本、遵守 robots.txt 的單純抓取，對照同一頁面的算繪版本。它會顯示單純抓取取得的字詞比例，把遺失的區塊與讀到的區塊並列，並針對該頁面建議修正方式。我們自己的首頁在 10 月 4 日檢查時得到 0%：單純抓取只取得 2,416 個字詞中的 9 個。網站現在已改為預先算繪，單純抓取首頁會回傳其中的文字。
這可能錯在哪裡
我們的爬蟲不是 GPTBot。它自稱 ProofBot，而依名稱對待機器人的網站，可能會給 AI 爬蟲不同的內容。拒絕我們的那四個網站，就是看得見的例子。
真正遺失與誤報之間的區分，是我們對遺失文字的有限樣本所做的人工判讀，而且我們只讀了分數低於 50% 的頁面。一個頁面可能得到 78% 卻仍遺失重要內容：某個得到這個分數的首頁，就遺失了運作步驟與整合清單。所以 7 個網站是「遺失重要內容」的下限。計分規則也有已知的雜訊，例如會拉低分數的內嵌圖片程式碼。
個人化內容，例如交易平台的商品列表，可能因訪客而異。每個網站的讀數是 10 月 5 日到 17 日之間最近一次的檢查，而網站會變動。這 72 個網站大多是擁有 Proofsource 工作區的小型公司，加上它們追蹤的一些大型品牌，不是網路的隨機樣本。
外部證據也很薄弱：一項 2024 年的研究、一個新聞網站的記錄與一位開發者的回報。
