CCBot이란?
CCBot은 연구자와 AI 개발자가 학습 데이터로 쓰는 웹의 무료 공개 사본을 펴내는 비영리 단체 Common Crawl의 웹 크롤러입니다. CCBot은 AI 회사의 크롤러가 아니지만, 그 아카이브는 많은 AI 모델에 쓰입니다. Common Crawl 측은 웹 사본을 무료로 공개하므로, CCBot을 차단하는 것은 연구자와 AI 개발자가 학습에 쓰는 공개 데이터셋에 관한 결정입니다.
Common Crawl은 무엇이고, CCBot은 무엇을 하나요?
Common Crawl 측은 스스로를 연구자, 기업, 개인에게 인터넷 사본을 무료로 제공하는 501(c)(3) 비영리 단체라고 설명하며, CCBot은 그 사본을 수집하는 크롤러입니다(Common Crawl FAQ, 2026년 10월 15일 확인).
그 데이터는 이를 사용하는 개발자를 통해 AI 모델에 들어갑니다. 예를 들어 OpenAI 측의 GPT-3 논문은 필터링한 Common Crawl 데이터를 그 모델 학습 데이터에서 가장 큰 부분으로 꼽습니다(Language Models are Few-Shot Learners, 2020년 5월 28일).
CCBot은 어떻게 동작하나요?
Common Crawl 측은 크롤러 규칙을 다음과 같이 문서화합니다.
- robots.txt를 확인하고, 크롤링이 허용된 경우에만 페이지를 가져옵니다.
- Crawl-delay를 따릅니다. Crawl-delay: 2는 2초에 한 번으로 요청을 제한합니다.
- 링크 발견 시 링크의 nofollow를 따릅니다.
- robots.txt를 주기적으로 다시 확인하므로, 새 차단은 이후 방문부터 적용됩니다.
- 역방향 DNS가 있는 전용 IP 범위에서 실행되며, 검증용으로 JSON 형식으로 공개됩니다.
CCBot은 어떻게 차단하거나 검증하나요?
robots.txt에 CCBot 그룹을 추가하세요. user-agent 문자열은 CCBot/2.0 (https://commoncrawl.org/faq/)이며, Common Crawl 측은 요청 검증을 위해 crawl.commoncrawl.org 아래의 역방향 DNS 호스트 이름을 제공합니다(CCBot).
# 콘텐츠를 Common Crawl 공개 아카이브에서 제외
User-agent: CCBot
Disallow: /실제 예시에서 CCBot을 차단하면 무엇이 바뀌나요?
오늘의 답변이 아니라 앞으로의 공개 데이터셋이 바뀝니다. 공개된 Tesla 예시(2026년 10월 4일)에서 Claude 답변은 "What is Tesla?"와 "Is Tesla legit?"에 출처 인용 없이 모델이 이미 아는 내용으로 답했습니다. 그 기억은 훨씬 전에 수집된 학습 데이터에서 온 것입니다.
구매자 질문에서는 같은 엔진들이 서로 다른 웹사이트 455곳을 인용했고, 이는 답변 시점에 각자의 검색 크롤러와 페처가 읽은 것입니다. CCBot 규칙은 이 실시간 경로 어느 쪽에도 닿지 않습니다. 닿는 것은 검색 에이전트와 사용자 에이전트입니다.
내 CCBot 규칙은 어떻게 확인하나요?
모든 호스트의 실제 robots.txt에서 CCBot 그룹을 확인하고, AI 학습 크롤러와 함께 결정하세요. 무료 AI 크롤러 점검 도구가 실제 robots.txt를 읽고, Proofsource 앱의 크롤러 접근 기능이 시간에 따라 추적합니다.
CCBot에 대해 자주 묻는 질문
CCBot을 차단하면 내 페이지가 AI 답변에서 빠지나요?
아닙니다. 검색하는 AI 답변은 엔진 자체의 크롤러와 페처를 씁니다. CCBot은 Common Crawl 측의 앞으로의 아카이브에만 영향을 줍니다.
CCBot을 차단하면 기존 데이터셋에서 내 콘텐츠가 지워지나요?
Common Crawl 측 문서는 CCBot이 차단된 사이트의 크롤링을 멈추는 방식을 설명합니다. 과거 아카이브가 바뀐다고는 말하지 않으므로, 이전에 수집된 것은 남는다고 보세요.
CCBot은 AI 회사의 크롤러인가요?
아닙니다. Common Crawl 측은 누구에게나 아카이브를 공개하는 비영리 단체입니다. AI 개발자는 그 데이터를 쓰는 많은 사용자 중 일부입니다.
CCBot은 Crawl-delay를 따르나요?
네. Common Crawl 측은 robots.txt의 Crawl-delay 파라미터를 따른다고 말합니다.
관련 용어
- GPTBot
GPTBot은 OpenAI의 생성형 AI 파운데이션 모델 학습에 쓰일 수 있는 콘텐츠를 수집하는 OpenAI의 웹 크롤러입니다.
- ClaudeBot
ClaudeBot은 Anthropic의 Claude 모델 학습에 쓰일 수 있는 웹 콘텐츠를 수집하는 Anthropic의 웹 크롤러입니다.
- Applebot-Extended
Applebot-Extended는 사이트가 Apple이 자사 콘텐츠를 Apple 파운데이션 모델 학습에 쓰지 못하게 할 수 있는 robots.txt 토큰이며, 그 자체로는 아무것도 크롤링하지 않습니다.
- robots.txt
robots.txt는 웹사이트 루트에 두는 텍스트 파일로, Robots Exclusion Protocol(RFC 9309)에 따라 크롤러가 가져갈 수 있는 경로를 알려 줍니다.
실전 예시: Tesla, 공개 AI 답변, 2026년 10월 4일: Proofsource가 Tesla를 대상으로 한 첫 스캔으로, 구매자 질문 25개와 브랜드 질문 5개를 네 엔진에 각각 한 번씩 물었습니다. 한 브랜드의 작은 표본이며, 벤치마크가 아니라 예시로 보여 드립니다.
