什麼是 robots.txt？

robots.txt 是位於網站根目錄的純文字檔，依據 Robots Exclusion Protocol（RFC 9309）告訴爬蟲可以擷取哪些路徑。 robots.txt 是網站控管爬蟲最古老的方式，而在 AI 時代，它承載的決定比以往都多：訓練、搜尋索引和使用者觸發的擷取各有各的機器人，針對其中一個的規則對其他的毫無作用。

開始您的免費試用預約示範

200 則回答。25 Prompts/問題。頂尖 AI 引擎。2 天。免費。不需信用卡。

robots.txt 如何運作？

它由一組組群組構成：每個群組指定一個或多個 user-agent 標記，並列出 Allow 和 Disallow 路徑。這些規則在 RFC 9309 中標準化為 Robots Exclusion Protocol（Koster、Illyes、Zeller 與 Sassman，2022 年 9 月），訂出爬蟲遵循的細節（RFC 9309，讀取於 2026 年 10 月 15 日）：

檔名為小寫的 robots.txt，放在主機的最上層，以 UTF-8 純文字提供。
規則衝突時，最具體的符合項勝出：也就是位元組數最多的那條。
爬蟲必須至少解析檔案的 500 KiB，而且除非檔案無法存取，否則不應使用超過 24 小時的快取副本。
4xx 回應代表爬蟲可以擷取任何內容；5xx 回應則代表它必須假設全部都被禁止。
這些規則不是存取授權：它們只是請求，而且列出的路徑是公開可見的。

如何為 AI 爬蟲撰寫 robots.txt 規則？

用標記點名每個機器人，並分別決定每項工作。常見的做法是在 AI 搜尋中保持可被找到，同時不讓內容用於訓練：允許搜尋與使用者擷取代理，禁止您反對的訓練爬蟲。

每個主機都有自己的檔案，所以 docs.example.com 需要自己的規則；Anthropic 請網站擁有者把它的規則加到每個想涵蓋的子網域（Anthropic，2026 年 4 月 7 日）。

# 在 AI 搜尋與使用者擷取中可被找到
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# 不用於模型訓練
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /

哪些 robots.txt 錯誤會讓您從 AI 回答中消失？

代價高的錯誤通常都是無心的：

本來想封鎖訓練，卻封鎖了搜尋代理（OAI-SearchBot、Claude-SearchBot、PerplexityBot）。
User-agent: * 底下的全面規則，連 AI 搜尋爬蟲也一併擋下。
CDN 或安全性設定在 robots.txt 被讀取之前就封鎖了 AI 機器人。
規則只設在 www，卻沒設在引擎最想引用的 docs 或說明子網域。
重點頁面上的摘要控制：Google 表示，頁面必須符合附摘要顯示的資格，才能出現在 AI Overviews 或 AI Mode 中（Google Search Central）。