ClaudeBot 是什麼？

ClaudeBot 是 Anthropic 的網路爬蟲，蒐集可能用於訓練 Anthropic Claude 模型的網路內容。 Anthropic 經營三個各司其職的機器人：ClaudeBot 負責訓練，Claude-SearchBot 負責搜尋索引，Claude-User 則在有人向 Claude 提問時擷取頁面。三者在 robots.txt 中各自命名，所以針對 ClaudeBot 的規則對另外兩個沒有任何作用。

開始您的免費試用預約示範

200 則回答。25 Prompts/問題。頂尖 AI 引擎。2 天。免費。不需信用卡。

ClaudeBot 的使用者代理是什麼？

ClaudeBot 以產品代號 ClaudeBot 表明身分，robots.txt 群組必須寫的就是這個代號。Anthropic 的說明文章列出三個機器人（ClaudeBot、Claude-User 和 Claude-SearchBot），但沒有提供完整的使用者代理字串，因此請在記錄檔中比對代號，而非比對複製來的字串（Anthropic 的爬蟲說明文章，閱讀日期 2026 年 10 月 15 日）。

記錄檔中的名稱可以偽造。若要確認請求確實來自 Anthropic，請用 Anthropic 在 claude.com/crawling/bots.json 公布的清單核對來源 IP；Anthropic 表示，來源 IP 在這份清單上的爬蟲就是來自 Anthropic。

有些 robots.txt 檔仍寫著 anthropic-ai 或 Claude-Web 這些較舊的代號。Anthropic 目前的文章都沒有提到它們，所以只寫這些舊代號的規則，並沒有文件證明能涵蓋 ClaudeBot。

ClaudeBot 收集什麼？為什麼？

ClaudeBot 收集可能有助於訓練 Anthropic 生成式 AI 模型的公開網頁內容，Anthropic 表示這有助於提升模型的實用性與安全性。禁止它，等於表示您網站未來的內容應排除在 Anthropic 的訓練資料集之外。

Anthropic 也說明了其機器人的行為方式：

會遵守 robots.txt 中「不要爬取」的指令。
不會試圖繞過 CAPTCHA 或其他防規避措施。
支援非標準的 Crawl-delay 規則，所以您可以讓 ClaudeBot 放慢速度，而不必封鎖它。
規則只適用於單一主機，有子網域的網站需要在每個子網域的 robots.txt 中加入規則。

ClaudeBot 和 Claude-User、Claude-SearchBot 有什麼不同？

ClaudeBot 與訓練有關；Claude-SearchBot 和 Claude-User 則關係到人們向 Claude 提問時，您能否被找到、被讀取。Anthropic 提醒，關閉後兩者中的任何一個，都可能降低您的網站在 Claude 搜尋回答中的能見度。

Anthropic 的三個機器人，出自 Anthropic 自己的說明文章，閱讀日期 2026 年 10 月 15 日。
機器人	用途	如果您禁止它
ClaudeBot	收集可能有助於模型訓練的網頁內容	表示您未來的內容應排除在訓練之外
Claude-SearchBot	讀取網頁，以提升 Claude 搜尋結果的品質與相關性	停止為搜尋建立索引，可能降低您在 Claude 搜尋回答中的能見度與準確度
Claude-User	有人向 Claude 提出需要該頁面的問題時擷取頁面	Claude 無法為這些問題擷取您的頁面，可能降低您在使用者發起的搜尋中的能見度

如何在 robots.txt 中封鎖或允許 ClaudeBot？

在每個主機根目錄的 robots.txt 中，加入一個指名 ClaudeBot 的群組。Anthropic 自己的範例是在 User-agent: ClaudeBot 底下加一行 Disallow: /，封鎖 ClaudeBot 爬取整個網站。

常見的做法是讓內容不進入訓練，同時仍能在 Claude 的回答中被找到：封鎖 ClaudeBot，允許另外兩個。Crawl-delay 是 Anthropic 文件記載、用來讓 ClaudeBot 放慢而非封鎖的方法。不要改用封鎖 Anthropic IP 位址的方式；Anthropic 表示這可能無法穩定運作，因為它會妨礙機器人讀取您的 robots.txt。接著用免費的 AI 爬蟲檢查工具確認線上檔案。

# 讓內容不進入 Anthropic 的訓練
User-agent: ClaudeBot
Disallow: /

# 維持在 Claude 回答中可被找到
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# 或者，不封鎖 ClaudeBot，而是讓它放慢：
# User-agent: ClaudeBot
# Crawl-delay: 1

這對被 Claude 引用有什麼意義？

能否被 Claude 引用，取決於 Claude-SearchBot 和 Claude-User 能否觸及您的頁面；ClaudeBot 則是另一項關於訓練的決定。三者全部封鎖，兩者都會失去。

即使是知名品牌，Claude 的引用也分散得很稀薄。在公開的 Tesla 範例（2026 年 10 月 4 日）中，Claude 在 25 個買家問題的回答中有 11 則點名 Tesla，這些回答共給出 351 個引用，只有一個指向 tesla.com。它最常引用的網站是 en.wikipedia.org，共 16 次。搜尋爬蟲的規則決定了您能否爭取這片引用空間，而衡量的方式是實際提出問題，而不是讀 robots.txt。請參閱 Claude 如何選擇它點名的品牌。