實地觀察閱讀時間 4 分鐘

在伺服器擋下 AI 爬蟲的 32 個網站中,有 21 個的 robots.txt 其實允許它們

robots.txt 檢查工具讀完檔案就停了。爬蟲能不能真的拿到頁面,是由伺服器、CDN 和防火牆決定;在我們的樣本中,它們擋下爬蟲的次數幾乎是 robots.txt 的三倍。

我們在 robots.txt 和伺服器兩端檢查了 199 個網站

如何檢查我的網站擋了哪些 AI 爬蟲?多數檢查工具,包括我們自己的免費工具,都是讀完 robots.txt 就停了。這個檔案背後的標準 RFC 9309 對它的限制說得很直白:「這些規則並不是一種存取授權。」規則只是請爬蟲別進來。請求能不能拿到頁面,是由您的伺服器、CDN 和防火牆決定。

Proofsource 會稽核它追蹤的每個品牌的網站。我們取每個網站在 2026 年 10 月 5 日到 11 月 20 日之間最近一次的稽核:共 199 個網站,不含我們自己和測試用的網域。每次稽核都會針對每個 AI 爬蟲讀取 robots.txt,再以每個爬蟲公開的 User-Agent 各請求一次首頁,記錄伺服器是提供了頁面,還是回應 401、403、429 或機器人驗證。

伺服器在 32 個網站拒絕了 GPTBot,robots.txt 只在 12 個網站封鎖它

在 199 個網站中,有 32 個的伺服器擋下了自稱 GPTBot 的請求:16.1%(11.6% 到 21.8%)。robots.txt 禁止 GPTBot 的則有 12 個(6.0%)。

這 32 個網站中有 21 個,robots.txt 允許我們讀取的每一個 AI 爬蟲。只看檔案的檢查,會告訴這 21 個網站它們對 AI 是開放的。

也有一次是反過來的。有個網站在 robots.txt 中禁止 GPTBot,伺服器卻照樣把頁面交了出去。這個檔案無論哪個方向都只是請求。

大多數伺服器封鎖針對訓練爬蟲,放過了搜尋

在 20 個網站上,伺服器拒絕了 GPTBot,卻對 OAI-SearchBot 和 ChatGPT-User 提供頁面,其中 15 個也拒絕了 ClaudeBot。這種區分看起來是刻意的。OpenAI 的爬蟲文件把它的爬蟲當作各自獨立的設定:GPTBot 收集訓練資料,OAI-SearchBot 找出要在 ChatGPT 搜尋中顯示的頁面。拒絕前者,並不會讓您從後者消失。

13 個網站拒絕了把頁面帶進回答的爬蟲

要被引用,關鍵是搜尋和使用者代理程式。13 個網站(6.5%)至少拒絕了 OAI-SearchBot、ChatGPT-User 或 PerplexityBot 其中之一。在這 13 個網站中,只有一個的 robots.txt 禁止它們。

10 個網站拒絕了我們送出的所有 AI 爬蟲。這 10 個網站中有 7 個回應的是 Cloudflare 機器人驗證,而不是一般的錯誤頁面。OpenAI 表示,退出 OAI-SearchBot 的網站不會顯示在 ChatGPT 搜尋回答中,並請想出現的網站除了在 robots.txt 允許它的名稱,也要允許它公開的 IP 範圍。

其中有些封鎖可能從來不是人手寫的

Cloudflare 在 2024 年 9 月加入一鍵封鎖 AI 爬蟲的選項,並表示有超過一百萬個客戶開啟了它。從 2025 年 7 月 1 日起,它會在每個新網域註冊時詢問是否允許 AI 爬蟲。在儀表板中選過一次的設定,或是由當初設定帳號的人選的設定,都不會出現在 robots.txt 裡。如果某個爬蟲被拒絕,而團隊裡沒有人記得做過這個決定,先去那裡看。

十分鐘內兩邊都檢查

  • 先讀 robots.txt 中的回答型爬蟲:OAI-SearchBot、ChatGPT-User、PerplexityBot、Claude-SearchBot。接著再另外決定訓練爬蟲 GPTBot 和 ClaudeBot 的設定。
  • 用 curl 請求您的首頁,把 User-Agent 設成每個爬蟲的名稱。出現 403、429 或驗證頁面,就代表伺服器拒絕了它,不管 robots.txt 怎麼寫。
  • 打開您 CDN 的機器人和 AI 爬蟲設定,看清楚每個爬蟲被設成什麼。在 Cloudflare 上,AI 爬蟲控制和任何封鎖 AI 機器人的規則都要檢查。
  • 如果您的防火牆只讓經過驗證的機器人通過,請確認 AI 公司公開的 IP 範圍在允許清單上,再到日誌中找這些爬蟲收到的 403。

Proofsource 怎麼檢查

每次 Proofsource 網站稽核都會針對每個 AI 爬蟲讀取 robots.txt,並以每個爬蟲的身分請求您的首頁。當 robots.txt 允許某個爬蟲、伺服器卻把它擋下時,首次掃描會把這件事單獨列成一行,並附上要修改的設定。

這份資料可能錯在哪裡

我們的請求來自我們自己的伺服器,不是 OpenAI、Anthropic 或 Perplexity 的。會檢查請求來源的防火牆,可能拒絕我們的請求,卻照樣服務真正的爬蟲。這點最常發生在機器人驗證上。請把一次拒絕當成打開 CDN 設定的理由,而不是 ChatGPT 讀不到您的證據。

每個爬蟲只請求一次,只請求首頁,只在單一時間點。其中 5 次拒絕是 429 速率限制,可能只是暫時的。其他頁面也可能有不同的規則。

這 199 個網站是 Proofsource 追蹤的品牌網站,不是網路的隨機樣本。較早的稽核送出五個爬蟲,較晚的送出八個,所以 Claude-SearchBot、Claude-User 和 Perplexity-User 的數字涵蓋 189 個網站。我們沒有看到這些網站的日誌,所以無法說明真正的爬蟲造訪得到什麼回應。

外部數字的來源

  1. RFC 9309: Robots Exclusion Protocol · IETF
  2. Overview of OpenAI Crawlers · OpenAI
  3. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large · Cloudflare
  4. 免費 AI 爬蟲 robots.txt 檢查工具(GPTBot、ClaudeBot) · Proofsource
所有筆記

問題

robots.txt 會封鎖 AI 爬蟲嗎?

它請爬蟲別進來,主要的 AI 公司也表示會遵守,但它擋不住請求。在我們稽核的 199 個網站中,有一個網站在 robots.txt 中禁止 GPTBot,伺服器卻照樣提供了頁面。

怎麼知道 Cloudflare 有沒有擋 ChatGPT?

把 User-Agent 設成 OAI-SearchBot 請求您的首頁,看看是否出現 403 或驗證頁面,再檢查您在 Cloudflare 的 AI 爬蟲設定。在我們的樣本中,拒絕所有 AI 爬蟲的 10 個網站裡有 7 個是用 Cloudflare 機器人驗證擋下的。

如果我封鎖 GPTBot,會從 ChatGPT 消失嗎?

不會從 ChatGPT 搜尋消失。OpenAI 把 GPTBot(訓練)和 OAI-SearchBot(搜尋)記錄為各自獨立的設定。在我們檢查的 199 個網站中,有 20 個的伺服器拒絕了 GPTBot,卻照樣服務 OAI-SearchBot。

您自己的數據勝過我們最好的文章。

無論是否有人讀這一頁,您類別中的候選名單此刻正在被寫出來。免費試用,今天在四個引擎上詢問 25 個問題,告訴您您的名字是否在其中。

100 則回答。25 Prompts/問題。頂尖 AI 引擎。免費。ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI