ClaudeBot이란 무엇입니까?

ClaudeBot은 Anthropic의 Claude 모델 학습에 쓰일 수 있는 웹 콘텐츠를 수집하는 Anthropic의 웹 크롤러입니다. Anthropic은 역할이 다른 봇 세 개를 운영합니다. 학습용 ClaudeBot, 검색 색인용 Claude-SearchBot, 그리고 누군가 Claude에게 질문할 때 페이지를 가져오는 Claude-User입니다. robots.txt에서 각각 따로 지정하므로, ClaudeBot에 대한 규칙은 나머지 두 봇에 대해 아무것도 말하지 않습니다.

무료 체험 시작하기 데모 신청

답변 200개. 25 Prompts/질문. 주요 AI 엔진. 2일. 무료. 카드 불필요.

ClaudeBot의 사용자 에이전트는 무엇입니까?

ClaudeBot은 제품 토큰 ClaudeBot으로 자신을 식별하며, robots.txt 그룹에서 지정해야 하는 것도 이 토큰입니다. Anthropic의 도움말 문서는 세 봇(ClaudeBot, Claude-User, Claude-SearchBot)의 이름을 밝히지만 전체 사용자 에이전트 문자열은 공개하지 않으므로, 로그에서는 복사한 문자열이 아니라 토큰으로 찾으십시오(Anthropic 크롤러 문서, 2026년 10월 15일 확인).

로그 한 줄에 적힌 이름은 위조할 수 있습니다. 요청이 정말 Anthropic에서 왔는지 확인하려면, Anthropic이 claude.com/crawling/bots.json에 공개한 목록과 출발지 IP를 대조하십시오. Anthropic은 이 목록의 출발지 IP를 가진 크롤러가 Anthropic에서 온 것이라고 밝힙니다.

일부 robots.txt 파일은 아직도 예전 토큰인 anthropic-ai나 Claude-Web을 지정합니다. Anthropic의 현재 문서는 둘 다 언급하지 않으므로, 예전 토큰만 지정한 규칙이 ClaudeBot에 적용된다는 점은 문서로 확인되지 않습니다.

ClaudeBot은 무엇을, 왜 수집합니까?

ClaudeBot은 Anthropic의 생성형 AI 모델 학습에 기여할 수 있는 공개 웹 콘텐츠를 수집하며, Anthropic은 이것이 모델의 유용성과 안전성을 높인다고 말합니다. 차단하면 사이트의 향후 콘텐츠를 Anthropic의 학습 데이터에서 제외하라는 신호가 됩니다.

Anthropic은 봇의 동작 방식도 설명합니다.

robots.txt의 "크롤링 금지" 지시를 따릅니다.
CAPTCHA나 기타 우회 방지 조치를 뚫으려 하지 않습니다.
비표준 규칙인 Crawl-delay를 지원하므로, 차단하지 않고 ClaudeBot의 속도만 늦출 수 있습니다.
규칙은 호스트 하나에만 적용되므로, 하위 도메인이 있는 사이트는 각 하위 도메인의 robots.txt에 규칙을 넣어야 합니다.

ClaudeBot은 Claude-User, Claude-SearchBot과 어떻게 다릅니까?

ClaudeBot은 학습에 관한 것이고, Claude-SearchBot과 Claude-User는 사람들이 Claude에게 질문할 때 회원님이 발견되고 읽히는 것에 관한 것입니다. Anthropic은 뒤의 두 봇 중 하나라도 비활성화하면 Claude 검색 답변에서 사이트의 가시성이 줄어들 수 있다고 경고합니다.

Anthropic의 봇 세 가지, Anthropic 도움말 문서 기준(2026년 10월 15일 확인).
봇	역할	차단하면
ClaudeBot	모델 학습에 기여할 수 있는 웹 콘텐츠를 수집합니다	향후 콘텐츠를 학습에서 제외하라는 신호가 됩니다
Claude-SearchBot	Claude 검색 결과의 품질과 관련성을 높이기 위해 웹을 읽습니다	검색용 색인이 중단되어 Claude 검색 답변에서 가시성과 정확도가 떨어질 수 있습니다
Claude-User	사람이 Claude에게 한 질문에 필요할 때 페이지를 가져옵니다	Claude가 그런 질문에 회원님의 페이지를 가져오지 못해, 사용자 주도 검색에서 가시성이 줄어들 수 있습니다

robots.txt에서 ClaudeBot을 차단하거나 허용하려면 어떻게 합니까?

각 호스트의 루트에 있는 robots.txt 파일에 ClaudeBot을 지정한 그룹을 추가하십시오. Anthropic의 예시는 User-agent: ClaudeBot 아래 Disallow: / 한 줄로 사이트 전체에서 ClaudeBot을 차단합니다.

흔한 선택은 콘텐츠를 학습에서 제외하면서도 Claude 답변에서는 계속 발견되는 것입니다. 즉 ClaudeBot은 차단하고 나머지 두 봇은 허용합니다. Crawl-delay는 ClaudeBot을 차단하는 대신 속도를 늦추는, Anthropic이 문서화한 방법입니다. Anthropic의 IP 주소 차단에 의존하지 마십시오. Anthropic은 봇이 robots.txt를 읽지 못하게 되어 안정적으로 작동하지 않을 수 있다고 말합니다. 그런 다음 무료 AI 크롤러 점검 도구로 게시된 파일을 확인하십시오.

# 콘텐츠를 Anthropic 학습에서 제외
User-agent: ClaudeBot
Disallow: /

# Claude 답변에서는 계속 발견되도록 허용
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

# 또는 ClaudeBot을 차단하는 대신 속도만 늦추기:
# User-agent: ClaudeBot
# Crawl-delay: 1

Claude에 인용되는 데에는 어떤 의미가 있습니까?

Claude에 인용되려면 Claude-SearchBot과 Claude-User가 회원님의 페이지에 닿아야 합니다. ClaudeBot은 학습에 관한 별개의 결정입니다. 세 봇을 모두 차단하면 두 가지를 모두 포기하는 것입니다.

Claude의 인용은 유명한 브랜드에 대해서도 넓게 흩어져 있습니다. 공개된 Tesla 예시(2026년 10월 4일)에서 Claude 엔진은 구매자 질문 25개 중 11개의 답변에서 Tesla를 언급했고, 그 답변들에서 인용 351건을 제시했는데 tesla.com은 그중 1건이었습니다. 가장 많이 인용한 사이트는 en.wikipedia.org로 16회였습니다. 검색 크롤러 규칙은 회원님이 이 인용 공간에서 경쟁할 수 있는지를 정하며, 이는 robots.txt를 읽는 것이 아니라 질문을 던져서 측정합니다. Claude가 언급할 브랜드를 고르는 방법을 참고하십시오.

ClaudeBot에 대해 자주 묻는 질문

ClaudeBot을 차단하면 사이트가 Claude에서 사라집니까?

Anthropic의 설명에 따르면 그렇지 않습니다. ClaudeBot은 학습용 크롤러입니다. 검색 색인은 Claude-SearchBot이, 사용자 질문을 위한 페이지 가져오기는 Claude-User가 맡으며, Anthropic은 이 두 봇을 차단하는 것이 Claude 검색 답변에서 가시성을 줄일 수 있다고 말합니다.

ClaudeBot은 robots.txt를 따릅니까?

Anthropic은 자사 봇이 robots.txt 지시를 따르고, CAPTCHA를 우회하지 않으며, Crawl-delay를 지원한다고 말합니다. 적용하려는 하위 도메인마다 robots.txt에 규칙을 넣으십시오.

IP 주소로 ClaudeBot을 차단해야 합니까?

Anthropic은 이에 의존하지 말라고 권합니다. IP 주소 차단은 제대로, 또 지속적으로 작동하지 않을 수 있고, 봇이 robots.txt를 읽지 못하게 만듭니다. 규칙은 robots.txt로 정하고, Anthropic이 공개한 IP 목록은 요청이 진짜인지 확인하는 데만 쓰십시오.

ClaudeBot은 anthropic-ai와 같습니까?

아닙니다. anthropic-ai와 Claude-Web은 일부 robots.txt 파일에 아직 남아 있는 예전 토큰이며, Anthropic의 현재 문서에는 나오지 않습니다. 문서가 지정하는 것은 ClaudeBot, Claude-SearchBot, Claude-User뿐이므로 이 세 가지를 대상으로 규칙을 작성하십시오.