針對 AI 爬蟲與 Googlebot 的 robots.txt 檢查工具
免費的 robots.txt 檢查工具。貼上您的 robots.txt，我們會針對 16 個爬蟲（OpenAI、Anthropic 和 Perplexity 的 AI 機器人，加上 Googlebot 和 Bingbot）進行解讀，顯示每一個是允許、封鎖還是未提及，以及決定結果的那一行。
十六個爬蟲，涵蓋 AI 與搜尋，以及各自的用途。
結果會顯示在這裡。不會儲存任何資料，也不使用任何 AI 模型：只是單純讀取 robots.txt。
GPTBot · OpenAI · 訓練
蒐集頁面以訓練 OpenAI 模型。
OAI-SearchBot · OpenAI · 搜尋
索引頁面，讓 ChatGPT 搜尋可以引用。
ChatGPT-User · OpenAI · 使用者擷取
在 ChatGPT 使用者要求時開啟頁面。
ClaudeBot · Anthropic · 訓練
蒐集頁面以訓練 Claude 模型。
Claude-SearchBot · Anthropic · 搜尋
索引頁面，讓 Claude 可以在搜尋回答中引用。
Claude-User · Anthropic · 使用者擷取
在 Claude 使用者要求時開啟頁面。
anthropic-ai · Anthropic · 訓練
許多 robots.txt 檔案仍會列出的舊版 Anthropic 權杖。
PerplexityBot · Perplexity · 搜尋
索引頁面，讓 Perplexity 可以在回答中引用。
Perplexity-User · Perplexity · 使用者擷取
在 Perplexity 使用者要求時開啟頁面。
Google-Extended · Google · 訓練
決定 Gemini 是否可以用 Googlebot 爬取的頁面進行訓練。搜尋不受影響。
Googlebot · Google · 搜尋
Google 搜尋，AI Overviews 與 AI Mode 所依據的來源。
Bingbot · Microsoft · 搜尋
Bing 搜尋，Copilot 回答所仰賴的索引。
Applebot-Extended · Apple · 訓練
決定 Apple 是否可以用 Applebot 爬取的頁面訓練其模型。
CCBot · Common Crawl · 訓練
建立許多模型用來訓練的開放 Common Crawl 資料集。
Meta-ExternalAgent · Meta · 訓練
蒐集頁面以訓練 Meta AI 模型。
Bytespider · ByteDance · 訓練
蒐集頁面以訓練 ByteDance 模型。
規則遵循 RFC 9309：爬蟲遵守指名它的群組，否則遵守 * 群組；最長的相符規則優先，平手時 Allow 優先。判定結果針對首頁。訓練爬蟲為未來的模型提供資料；搜尋爬蟲決定 AI 回答今天能否引用您；使用者擷取則發生在有人請助理打開您的頁面時。
robots.txt 只是存取的一半。即使 robots.txt 允許，CDN 的機器人設定仍可能拒絕爬蟲，而這項檢查看不到這一點； Proofsource 的爬蟲存取會以每個爬蟲的身分請求您的頁面來查明。了解為什麼封鎖 GPTBot 並不會讓您從 ChatGPT 中消失，用 llms.txt 驗證工具檢查您的檔案，或從AI 能見度指南開始。
這些回答代表什麼。
我應該封鎖訓練爬蟲嗎？
這是商業判斷。封鎖 GPTBot 或 ClaudeBot 能讓您的頁面不進入未來的訓練資料集，但無法阻止 ChatGPT 或 Claude 透過其搜尋爬蟲引用您。封鎖 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot 則確實會讓您從這些回答中消失。
為什麼爬蟲顯示「未提及」？
您的 robots.txt 沒有針對它的群組，因此它會遵循 * 群組。若連 * 群組也沒有，就沒有任何限制。
robots.txt 能擋下所有機器人嗎？
不會。它是一項請求，主要 AI 公司表示會遵守。它無法封鎖無視它的爬蟲；那要靠防火牆規則。
可被爬取是第一步。
Proofsource 顯示 ChatGPT、Perplexity、Claude 和 Google 是否真的點名您、改點名了哪些競爭對手，以及該修正什麼。