Common Crawl 是什麼？CCBot 做什麼？
Common Crawl 自稱是一個 501(c)(3) 非營利組織，致力於免費為研究人員、企業和個人提供網際網路的副本；CCBot 就是蒐集這些資料的爬蟲（Common Crawl FAQ，2026 年 10 月 15 日 查閱）。
它的資料透過使用它的開發者進入 AI 模型。例如 OpenAI 的 GPT-3 論文就把經過篩選的 Common Crawl 列為該模型訓練資料組合中最大的一部分（Language Models are Few-Shot Learners，2020 年 5 月 28 日）。
CCBot 的行為如何？
Common Crawl 記載了它的爬蟲規則：
- 它會檢查 robots.txt，只在允許爬取時才擷取頁面。
- 它遵守 Crawl-delay；Crawl-delay: 2 會把它限制為每 2 秒一次請求。
- 在探索連結時，它會遵守連結上的 nofollow。
- 它會定期重新檢查 robots.txt，因此新的封鎖會在之後的造訪中生效。
- 它在專用的 IP 範圍上運作，並設有反向 DNS，以 JSON 公布供驗證。
如何封鎖或驗證 CCBot？
在 robots.txt 中為 CCBot 新增一個群組。它的 user-agent 字串是 CCBot/2.0 (https://commoncrawl.org/faq/)，Common Crawl 提供 crawl.commoncrawl.org 底下的反向 DNS 主機名稱，用來驗證請求（CCBot）。
# 讓內容不進入 Common Crawl 的開放典藏
User-agent: CCBot
Disallow: /以實際範例來看，封鎖 CCBot 會改變什麼？
它改變的是未來的開放資料集，而不是今天的回答。在公開的 Tesla 範例（2026 年 10 月 4 日）中，Claude 回答「What is Tesla?」和「Is Tesla legit?」時，用的是模型原本就知道的內容，沒有引用任何來源：那份記憶來自很久以前蒐集的訓練資料。
在買家問題上，同樣的引擎引用了 455 個不同的網站，都是在回答時由它們自己的搜尋爬蟲和擷取程式讀取的。CCBot 規則不會影響這兩條即時路徑；影響它們的是搜尋代理程式和使用者代理程式。
關於 CCBot 的常見問題
封鎖 CCBot 會讓我的頁面從 AI 回答中消失嗎？
不會。會搜尋的 AI 回答使用的是引擎自己的爬蟲和擷取程式。CCBot 只影響 Common Crawl 未來的典藏。
封鎖 CCBot 會把我的內容從現有資料集中移除嗎？
Common Crawl 的文件說明了 CCBot 如何停止爬取被封鎖的網站，但沒有說過去的典藏會被更改，所以請假設先前蒐集的內容仍會保留。
CCBot 是 AI 公司的爬蟲嗎？
不是。Common Crawl 是一個非營利組織，將典藏公開給任何人使用。AI 開發者只是這些資料的眾多使用者之一。
CCBot 會遵守 Crawl-delay 嗎？
會。Common Crawl 表示它遵守 robots.txt 中的 Crawl-delay 參數。
相關詞彙
- GPTBot
GPTBot 是 OpenAI 的網路爬蟲，蒐集可能用於訓練 OpenAI 生成式 AI 基礎模型的內容。
- ClaudeBot
ClaudeBot 是 Anthropic 的網路爬蟲，蒐集可能用於訓練 Anthropic Claude 模型的網路內容。
- Applebot-Extended
Applebot-Extended 是一個 robots.txt 標記，讓網站可以拒絕 Apple 使用其內容訓練基礎模型；它本身不爬取任何內容。
- robots.txt
robots.txt 是位於網站根目錄的純文字檔，依據 Robots Exclusion Protocol（RFC 9309）告訴爬蟲可以擷取哪些路徑。
實例：Tesla，公開的 AI 回答，2026 年 10 月 4 日：Proofsource 對 Tesla 的第一次掃描，25 個買家問題和 5 個品牌問題，四個引擎各回答每個問題一次。這是單一品牌的小樣本，僅作為範例，不是基準。
