CCBot とは？

CCBot は非営利団体 Common Crawl のウェブクローラーで、Common Crawl は研究者やAI開発者が学習データとして使う、無料で公開されたウェブのコピーを公開しています。 CCBot は AI 企業のクローラーではありませんが、そのアーカイブは多くの AI モデルの材料になっています。Common Crawl はウェブのコピーを無料で公開しているので、CCBot をブロックすることは、研究者や AI 開発者が学習に使うオープンデータセットについての判断になります。

無料トライアルを始めるデモを依頼

200件の回答。25 Prompts/質問。主要AIエンジン。2日間。無料。カード不要。

Common Crawl とは何で、CCBot は何をするのか？

Common Crawl は、研究者、企業、個人にインターネットのコピーを無償で提供することを目的とした 501(c)(3) の非営利団体だと自らを説明しており、それを収集するクローラーが CCBot です（Common Crawl FAQ、2026年10月15日確認）。

そのデータは、利用する開発者を通じて AI モデルに届きます。たとえば OpenAI の GPT-3 の論文は、フィルタリングした Common Crawl をそのモデルの学習データの最大の構成要素として挙げています（Language Models are Few-Shot Learners、2020年5月28日）。

CCBot はどう振る舞うのか？

Common Crawl はクローラーのルールを文書化しています。

robots.txt を確認し、クロールが許可されている場合にのみページを取得します。
Crawl-delay に従います。Crawl-delay: 2 なら、リクエストは 2 秒に 1 回に制限されます。
リンクの発見では、リンクの nofollow を尊重します。
robots.txt を定期的に再確認するので、新しいブロックはその後の訪問から有効になります。
逆引き DNS 付きの専用 IP 範囲で動作し、確認用に JSON で公開されています。

CCBot をブロック・確認するには？

robots.txt に CCBot 用のグループを追加します。user-agent 文字列は CCBot/2.0 (https://commoncrawl.org/faq/) で、Common Crawl はリクエストを確認するための crawl.commoncrawl.org 配下の逆引き DNS ホスト名を示しています（CCBot）。

# コンテンツを Common Crawl のオープンアーカイブから除外する
User-agent: CCBot
Disallow: /

実際の事例で、CCBot をブロックすると何が変わるのか？

変わるのは将来のオープンデータセットで、今日の回答ではありません。Tesla の公開事例（2026年10月4日）では、Claude は「What is Tesla?」と「Is Tesla legit?」に、情報源を引用せず、モデルがすでに知っていたことで答えました。その記憶は、ずっと前に収集された学習データから来たものです。

購買者の質問では、同じエンジンが 455 の異なるウェブサイトを引用しました。それらは回答時に各エンジン自身の検索クローラーとフェッチャーが読んだものです。CCBot のルールはこのどちらの経路にも触れません。触れるのは検索エージェントとユーザーエージェントです。