OpenAI 派出四個代理程式，只有一個掌控 ChatGPT 搜尋
網路上流傳著一段不允許 GPTBot 的 robots.txt。很多人貼上之後，覺得已經搞定 ChatGPT 的問題。他們確實搞定了一個問題，只是不是那一個。
OpenAI 記錄了四個使用者代理程式，各有各的工作。GPTBot 爬取可能用於訓練基礎模型的內容。OAI-SearchBot 用於讓網站出現在 ChatGPT 的搜尋功能中，OpenAI 自己的頁面說，選擇退出它的網站不會出現在 ChatGPT 搜尋回答中，不過仍可能以導覽連結的形式出現。ChatGPT-User 在有人詢問 ChatGPT 時抓取頁面，而因為是使用者觸發的，OpenAI 說 robots.txt 規則可能不適用。OAI-AdsBot 只造訪以廣告形式提交的頁面。
OpenAI 明確表示每項設定彼此獨立。您可以允許 OAI-SearchBot、不允許 GPTBot，也就是同意被找到、拒絕成為訓練資料。這對多數公司來說是合理的立場，但我們讀過的 robots.txt 檔案幾乎沒有真正這樣寫。不論哪種設定，都請等大約一天：OpenAI 說 robots.txt 變更後，大約需要 24 小時其系統才會跟上。
Anthropic 分成三個，而 Perplexity 在有人詢問時會忽略您
Anthropic 有三個。ClaudeBot 蒐集可能用於訓練的網路內容。Claude-SearchBot 為改善搜尋結果而為內容建立索引。Claude-User 在有人詢問 Claude 時抓取頁面。Anthropic 的說明頁面清楚寫出每一個的後果：關閉 Claude-SearchBot，您的內容就不再被編入搜尋索引；關閉 Claude-User，Claude 就不再為回應使用者的問題擷取您的頁面。
Perplexity 有兩個。PerplexityBot 的用途是在 Perplexity 的結果中呈現並連結網站，完全不用於蒐集訓練資料。Perplexity-User 在有人提問時造訪頁面，而 Perplexity 的文件直接說出了那個不太好聽的事實：由於抓取是使用者要求的，這個抓取程式通常會忽略 robots.txt。
加總起來，「一律封鎖 AI 機器人」的規則會落在很奇怪的位置。在上述九個代理程式中，大家想擋下的，大多正是把您的連結呈現在買家面前的那些，而其中一個本來就不理會 robots.txt。
Google-Extended 與 AI Overviews 毫無關係
這是讓人損失最大的一項。Google-Extended 是 robots.txt 權杖，沒有自己的使用者代理字串，控制的是爬取的內容是否用於訓練未來的 Gemini 模型以及為 Gemini 應用程式提供資料接地。Google 的爬蟲文件直言，它不影響網站是否被納入 Google 搜尋，也不作為排名訊號。封鎖它對 AI Overviews 毫無作用。
AI Overviews 與 AI Mode 屬於搜尋。Google 在給網站擁有者的指引中自己這麼說：AI 內建於搜尋之中，而 Googlebot 的 robots.txt 指令就是控制方式。接著是讓人掉進陷阱的那句話：要在 AI Overviews 或 AI Mode 中成為輔助連結，頁面必須已編入索引且符合以摘要片段顯示的資格。如果您或您的前任為了防止爬取而設定了 nosnippet、data-nosnippet 或嚴格的 max-snippet，您就把自己從 AI 回答中移除了，而您的分析工具中沒有任何東西會回報這件事。
同一份 Google 指南說，要出現在這些功能中，不需要建立新的機器可讀檔案或 AI 文字檔。我們一直告訴大家不要把 llms.txt 當成修正手段：我們觀察的引擎中沒有任何一個把它記錄為排名訊號。由 Google 用自己的話說出這個通則，是很有用的。
您的 CDN 可能已經替您決定了
2025 年 7 月 1 日，Cloudflare 宣布將預設改為封鎖 AI 爬蟲，除非它們為內容付費，並推出代管的 robots.txt，代您提供並隨著新機器人出現持續更新。現在每個新加入 Cloudflare 的網站，在設定時都會被要求做出這個選擇。
所以對很多公司來說，「我的 robots.txt 對 ChatGPT 怎麼說」的誠實答案是「我不知道，是我的 CDN 寫的」。WAF 規則做同樣的事，而且更徹底：請求根本到不了您的原始伺服器，所以您的記錄或分析中都不會記下一次沒有發生的造訪。您的頁面照樣排名、照樣載入，在您看來也一切正常。
即使抓取成功，回傳的內容也必須有文字。在用戶端算繪的頁面會交給這些代理程式一個 200 狀態與一個空容器，在您看來是正常的頁面，在它們看來什麼都沒有。
一個下午就能釐清的六項檢查
這些都不需要工具，只需要 curl、您的記錄和一個小時。我們把它作為機器人存取稽核來執行，背後有 Cloudflare 爬蟲分析支援，但每一步您都可以自己做。
- 從公開網路抓取您的 robots.txt，而不是從程式碼庫，並逐一搜尋每個權杖名稱：OAI-SearchBot、GPTBot、ChatGPT-User、ClaudeBot、Claude-User、Claude-SearchBot、PerplexityBot、Google-Extended、Googlebot。
- 每個子網域都要做。docs.example.com 與 www.example.com 是不同的檔案、不同的決定，而 docs 子網域通常正是您希望被引用的那一個。
- 用每個代理程式公布的使用者代理字串，請求一個您希望被引述的頁面，並閱讀回傳內容。200 加上一個空的 div 是失敗，不是通過。
- 在您的 CDN 與 WAF 中尋找代管的 robots.txt，或現任團隊中沒人寫過的機器人規則。
- 檢查您最好頁面的 head 中是否有 noindex、nosnippet、data-nosnippet 與 max-snippet。其中任何一個都可能悄悄讓頁面失去 AI Overviews 的資格。
- 在存取記錄中搜尋這些代理程式名稱，再把來源位址與 OpenAI、Perplexity 和 Anthropic 公布的 IP 範圍比對。使用者代理字串誰都能輸入，位址範圍才是驗證的依據。
這可能錯在哪裡
以上全是各引擎對自家爬蟲的描述，而權杖與行為都會變動。Anthropic 的頁面標示 2026 年 4 月，Google 的爬蟲清單最後更新於 2026 年 7 月，而 OpenAI 每推出一個會抓取頁面的產品就會新增一個代理程式。改動任何一行之前，請閱讀即時的文件，而不是這篇文章。
robots.txt 是一項請求。公司說自家機器人會遵守它，是政策聲明而不是強制機制，而這裡有兩個抓取程式明文表示完全不對使用者發起的請求套用它。如果您需要某些內容不被讀取，robots.txt 從來就不是那個工具。
讓爬蟲進入也不會讓您被引用。存取只是門檻，不是答案。在我們抽樣的類別中，ChatGPT 為「最佳推薦」問題引用的內容有 44% 是清單文章，所以能被讀取與被選中是兩個不同的問題。我們的 44% 是在採集樣本上的單次測量，不是常數。
仍然值得花一個下午，因為這種失敗本質上是無聲的。任何地方都不會回報一次從未發生的抓取。
