robots.txt란 무엇인가요?
robots.txt는 웹사이트 루트에 두는 텍스트 파일로, Robots Exclusion Protocol(RFC 9309)에 따라 크롤러가 가져갈 수 있는 경로를 알려 줍니다. robots.txt는 사이트가 크롤러를 통제하는 가장 오래된 수단이며, AI 시대에는 그 어느 때보다 많은 결정을 떠맡고 있습니다. 학습, 검색 색인, 사용자가 일으킨 가져오기는 각각 별도의 봇이 맡고, 한 봇에 대한 규칙은 다른 봇에 대해 아무것도 말해 주지 않습니다.
robots.txt는 어떻게 작동하나요?
robots.txt는 그룹 단위로 작동합니다. 각 그룹은 하나 이상의 사용자 에이전트 토큰을 지정하고 Allow와 Disallow 경로를 나열합니다. 이 규칙은 RFC 9309의 Robots Exclusion Protocol로 표준화되어 있으며(Koster, Illyes, Zeller, Sassman, 2022년 9월), 크롤러가 따르는 세부 사항을 정합니다(RFC 9309, 2026년 10월 15일 확인):
- 파일 이름은 소문자 robots.txt이며, 호스트의 최상위 경로에 두고, UTF-8 일반 텍스트로 제공합니다.
- 규칙이 충돌하면 가장 구체적인 일치, 즉 옥텟이 가장 많은 규칙이 이깁니다.
- 크롤러는 파일의 최소 500KiB를 처리해야 하며, 파일에 접근할 수 없는 경우가 아니라면 캐시된 사본을 24시간 넘게 쓰지 않아야 합니다.
- 4xx 응답이면 크롤러는 무엇이든 가져올 수 있고, 5xx 응답이면 모든 것이 차단되었다고 간주해야 합니다.
- 이 규칙은 접근 권한 부여 수단이 아닙니다. 요청일 뿐이며, 나열된 경로는 누구에게나 공개됩니다.
AI 크롤러를 위한 robots.txt 규칙은 어떻게 쓰나요?
봇마다 토큰으로 지정하고, 역할마다 따로 결정하세요. 일반적인 입장은 AI 검색에서는 찾을 수 있게 두고 콘텐츠는 학습에서 빼는 것입니다. 검색 에이전트와 사용자 가져오기 에이전트는 허용하고, 원하지 않는 학습 크롤러는 차단합니다.
호스트마다 파일이 따로 있으므로 docs.example.com에는 자체 규칙이 필요합니다. Anthropic은 사이트 소유자에게 적용하려는 모든 하위 도메인에 규칙을 추가하라고 요청합니다(Anthropic, 2026년 4월 7일).
# AI 검색과 사용자 가져오기에서는 찾을 수 있게 유지
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# 모델 학습에서는 제외
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /어떤 robots.txt 실수가 AI 답변에서 우리 브랜드를 숨기나요?
비용이 큰 실수는 대개 의도치 않은 것입니다:
- 학습을 막으려다 검색 에이전트(OAI-SearchBot, Claude-SearchBot, PerplexityBot)까지 차단하는 경우.
- User-agent: * 아래의 일괄 규칙이 AI 검색 크롤러까지 잡아내는 경우.
- CDN이나 보안 설정이 robots.txt를 읽기도 전에 AI 봇을 차단하는 경우.
- 규칙이 www에는 있지만, 엔진이 가장 인용하고 싶어 하는 docs나 help 하위 도메인에는 없는 경우.
- 핵심 페이지의 스니펫 제어: Google은 AI Overviews나 AI Mode에 나타나려면 페이지가 스니펫과 함께 표시될 수 있어야 한다고 밝힙니다(Google Search Central).
실제 사례에서 robots.txt는 무엇을 결정하나요?
애초에 우리 페이지가 인용을 두고 경쟁할 수 있는지를 결정합니다. 공개된 Tesla 사례(2026년 10월 4일)에서 25개 구매자 질문에 걸쳐 Perplexity 답변은 인용 375개, Claude 답변은 351개를 제시했고, 그중 tesla.com은 각각 3개와 1개였습니다.
robots.txt로 이 엔진들의 검색 에이전트를 차단한 사이트는 그 정도의 인용마저 포기하게 됩니다. 허용한다고 인용을 저절로 얻는 것은 아니지만, 우리 페이지가 경쟁에 참여할 수 있게 됩니다.
AI 크롤러 기준으로 robots.txt를 어떻게 확인하나요?
모든 호스트에 대해 공개 인터넷에서 실제 파일을 가져와 토큰 이름별로 검색하세요. 무료 AI 크롤러 검사기는 실제 robots.txt를 읽어 어떤 AI 크롤러를 허용하거나 차단하는지 알려 주며, Proofsource의 크롤러 접근 기능은 CDN 계층과 렌더링된 텍스트까지 함께 확인합니다.
robots.txt에 대해 자주 묻는 질문
robots.txt로 AI가 내 콘텐츠를 쓰지 못하게 막을 수 있나요?
이를 따르는 크롤러에 대해서만, 그리고 파일을 읽은 시점부터만 가능합니다. robots.txt는 잠금장치가 아니라 요청이며, Perplexity-User 같은 사용자 주도 가져오기 도구는 대체로 이를 무시한다고 문서에 밝히고 있습니다.
GPTBot을 차단하면 ChatGPT 답변에서 빠지나요?
아니요. GPTBot은 OpenAI의 학습용 크롤러입니다. ChatGPT 검색은 OAI-SearchBot이 결정하며, OpenAI는 각 설정이 서로 독립적이라고 밝힙니다.
robots.txt 변경이 적용되기까지 얼마나 걸리나요?
RFC 9309에 따르면 크롤러는 캐시된 사본에 24시간 넘게 의존하지 않아야 하며, OpenAI는 검색 시스템에 변경이 반영되기까지 약 24시간이 걸린다고 밝힙니다.
llms.txt가 robots.txt를 대체하나요?
아니요. robots.txt는 크롤러 규칙을 정합니다. llms.txt는 언어 모델을 위해 제안된 읽기 목록이며, 접근에 대해서는 아무런 권한이 없습니다.
관련 용어
- GPTBot
GPTBot은 OpenAI의 생성형 AI 파운데이션 모델 학습에 쓰일 수 있는 콘텐츠를 수집하는 OpenAI의 웹 크롤러입니다.
- OAI-SearchBot
OAI-SearchBot은 ChatGPT 검색 기능에 웹사이트를 노출하는 OpenAI의 크롤러이며, 이를 거부한 사이트는 ChatGPT 검색 답변에 표시되지 않습니다.
- ClaudeBot
ClaudeBot은 Anthropic의 Claude 모델 학습에 쓰일 수 있는 웹 콘텐츠를 수집하는 Anthropic의 웹 크롤러입니다.
- llms.txt
llms.txt는 웹사이트 루트에 두는 마크다운 파일 제안으로, 언어 모델에 사이트가 무엇인지 알려 주고 가장 읽을 가치가 있는 페이지를 나열합니다.
실전 예시: Tesla, 공개 AI 답변, 2026년 10월 4일: Proofsource가 Tesla를 대상으로 한 첫 스캔으로, 구매자 질문 25개와 브랜드 질문 5개를 네 엔진에 각각 한 번씩 물었습니다. 한 브랜드의 작은 표본이며, 벤치마크가 아니라 예시로 보여 드립니다.
