GPTBot 的使用者代理字串是什麼?
GPTBot 以產品代號 GPTBot 表明身分,robots.txt 群組必須寫的就是這個代號。OpenAI 指出版本號可能會變動,因此請在記錄檔中比對代號,而非整個字串。它也表示,GPTBot 擷取您的 robots.txt 時,可能會在字串中加上 robots.txt 標記,以便區分這些請求。
記錄檔中的名稱任何爬取程式都能複製。若要確認請求是否真實,請用 OpenAI 在 openai.com/gptbot.json 公布的清單核對其 IP。
以下是 OpenAI 文件提供的完整字串(OpenAI 的爬蟲文件,閱讀日期 2026 年 10 月 15 日):
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotGPTBot 會做什麼、不會做什麼?
GPTBot 爬取可能用於訓練 OpenAI 生成式 AI 基礎模型的內容,而 OpenAI 說它只做這件事。在 robots.txt 中禁止它,表示您網站的內容不應用於這項訓練。
它不會做的事,對能見度更重要:
- 它不決定您的頁面是否出現在 ChatGPT 搜尋中。OpenAI 把這件事歸給 OAI-SearchBot。
- 有人向 ChatGPT 詢問某個頁面時,開啟頁面的代理不是它,而是 ChatGPT-User。
- 它的規則與其他代理互相獨立:OpenAI 表示每項 robots.txt 設定各自生效。
- 如果您同時允許 GPTBot 和 OAI-SearchBot,OpenAI 表示可能用同一次爬取達成兩種用途。
GPTBot 和 OAI-SearchBot、ChatGPT-User 有什麼不同?
三者各有不同工作,所以一行 robots.txt 無法代替其他規則。這正是那條流行規則背後的誤解:以為封鎖 GPTBot 就能讓網站不出現在 ChatGPT;封鎖 GPTBot 不會讓您從 ChatGPT 消失。
| 代理 | 用途 | 如果您禁止它 |
|---|---|---|
| GPTBot | 爬取可能用於訓練 OpenAI 基礎模型的內容 | 表示您的內容不應用於訓練 |
| OAI-SearchBot | 在 ChatGPT 的搜尋功能中呈現網站 | 不會出現在 ChatGPT 搜尋回答中,但導覽連結仍可能出現 |
| ChatGPT-User | 使用者詢問 ChatGPT 或自訂 GPT,或透過 GPT Actions 時造訪頁面 | OpenAI 表示 robots.txt 規則可能不適用,因為造訪是由使用者發起 |
| OAI-AdsBot | 檢查在 ChatGPT 上提交為廣告的到達頁面安全性 | 除非您在 ChatGPT 投放廣告,否則無關;它只造訪提交的廣告頁面 |
如何在 robots.txt 中封鎖或允許 GPTBot?
在網站根目錄的 robots.txt 中,為 GPTBot 建立獨立的群組。常見做法是封鎖 GPTBot、允許 OAI-SearchBot:拒絕訓練,接受 ChatGPT 搜尋。
OpenAI 表示,robots.txt 的變更可能約需 24 小時才會反映在搜尋結果中。規則也可能在網路邊緣被推翻:CDN 或防火牆的機器人設定,可能封鎖 robots.txt 允許的代理。請用免費的 AI 爬蟲檢查工具同時檢查兩者。
# 拒絕訓練
User-agent: GPTBot
Disallow: /
# 接受 ChatGPT 搜尋
User-agent: OAI-SearchBot
Allow: /這對被 ChatGPT 引用有什麼意義?
在公開的 Tesla 範例(2026 年 10 月 4 日)中,ChatGPT 引用品牌自家網站的頻率遠高於其他引擎:在 25 個買家問題的 93 個引用中,tesla.com 占 12 次,約 13%,而其他三個引擎合計在 915 個引用中只引用它 5 次。
這些連結來自 ChatGPT 的搜尋功能,OpenAI 把它歸給 OAI-SearchBot,而非 GPTBot。封鎖 GPTBot 不會影響它們;封鎖 OAI-SearchBot 則會。請參閱 ChatGPT 如何選擇它點名的品牌。
關於 GPTBot 的常見問題
封鎖 GPTBot 會讓我的網站從 ChatGPT 消失嗎?
不會。GPTBot 是訓練用爬蟲。OpenAI 表示,排除 OAI-SearchBot 的網站不會出現在 ChatGPT 搜尋回答中;GPTBot 沒有這種角色。每項 robots.txt 設定各自獨立。
封鎖 GPTBot 會移除 OpenAI 已經收集的內容嗎?
OpenAI 的爬蟲頁面把 GPTBot 規則描述為一個訊號,表示您的內容不應用於訓練。頁面沒有提到加入規則之前已收集的內容,所以不要假設會移除。
我怎麼知道請求真的來自 GPTBot?
用 OpenAI 在 openai.com/gptbot.json 公布的清單核對來源 IP。只看使用者代理字串的話,任何爬取程式都能複製。
GPTBot 和 ChatGPT-User 是同一個嗎?
不是。ChatGPT-User 會在有人向 ChatGPT 或自訂 GPT 提問時造訪頁面,OpenAI 表示它不用於自動爬取。由於這些造訪由使用者發起,robots.txt 規則可能不適用於它。
相關詞彙
- OAI-SearchBot
OAI-SearchBot 是 OpenAI 用於在 ChatGPT 搜尋功能中呈現網站的爬蟲;封鎖它的網站不會出現在 ChatGPT 搜尋的回答中。
- ClaudeBot
ClaudeBot 是 Anthropic 的網路爬蟲,蒐集可能用於訓練 Anthropic Claude 模型的網路內容。
- PerplexityBot
PerplexityBot 是 Perplexity 的爬蟲,負責為網頁建立索引,讓它們能在 Perplexity 的搜尋結果中呈現並被連結。
實例:Tesla,公開的 AI 回答,2026 年 10 月 4 日:Proofsource 對 Tesla 的第一次掃描,25 個買家問題和 5 個品牌問題,四個引擎各回答每個問題一次。這是單一品牌的小樣本,僅作為範例,不是基準。