사이트 199곳을 robots.txt와 서버 양쪽에서 확인했습니다
우리 사이트가 어떤 AI 크롤러를 차단하는지 어떻게 확인할까요? 대부분의 검사기는, 저희 무료 도구를 포함해, robots.txt를 읽는 데서 멈춥니다. 이 파일의 표준인 RFC 9309는 그 한계를 분명히 적고 있습니다. "이 규칙은 접근 권한 부여의 한 형태가 아닙니다." 규칙은 크롤러에게 들어오지 말라고 요청할 뿐입니다. 요청이 페이지를 받는지는 서버, CDN, 방화벽이 결정합니다.
Proofsource는 추적하는 모든 브랜드의 사이트를 감사합니다. 2026년 10월 5일부터 11월 20일까지 각 사이트의 최신 감사를 사용했습니다. 저희 도메인과 테스트 도메인을 뺀 199곳입니다. 각 감사는 AI 크롤러마다 robots.txt를 읽은 다음, 크롤러마다 한 번씩 그 크롤러가 공개한 User-Agent를 보내 홈페이지를 요청합니다. 서버가 페이지를 돌려줬는지, 아니면 401, 403, 429 또는 봇 챌린지로 응답했는지 기록합니다.
서버는 32곳에서 GPTBot을 거부했고, robots.txt가 차단한 곳은 12곳이었습니다
GPTBot이라고 밝힌 요청을 사이트 199곳 중 32곳의 서버가 거부했습니다. 16.1%(11.6%에서 21.8%)입니다. robots.txt에서 GPTBot을 허용하지 않은 곳은 12곳(6.0%)이었습니다.
이 32곳 중 21곳에서는 robots.txt가 저희가 확인한 모든 AI 크롤러를 허용하고 있었습니다. 파일만 확인했다면 21곳 모두에 AI에게 열려 있다고 알려 줬을 것입니다.
반대 경우도 한 번 있었습니다. 한 사이트는 robots.txt에서 GPTBot을 허용하지 않았지만, 서버는 그래도 페이지를 내줬습니다. 파일은 어느 방향으로든 요청일 뿐입니다.
서버 차단 대부분은 학습용 크롤러를 막고 검색용은 통과시켰습니다
20곳에서는 서버가 GPTBot을 거부하면서 OAI-SearchBot과 ChatGPT-User에는 응답했고, 그중 15곳은 ClaudeBot도 거부했습니다. 이렇게 나뉜 것은 의도된 선택으로 보입니다. OpenAI의 크롤러 문서는 각 크롤러를 별도의 설정으로 다룹니다. GPTBot은 학습 데이터를 모으고, OAI-SearchBot은 ChatGPT search에 보여 줄 페이지를 찾습니다. 앞의 것을 거부해도 뒤의 것에서 빠지지는 않습니다.
13곳이 페이지를 답변에 넣는 크롤러를 거부했습니다
인용되는 데 중요한 크롤러는 검색용과 사용자용 에이전트입니다. 13곳(6.5%)이 OAI-SearchBot, ChatGPT-User, PerplexityBot 중 하나 이상을 거부했습니다. robots.txt에서 이를 허용하지 않은 곳은 13곳 중 1곳뿐이었습니다.
10곳은 저희가 보낸 모든 AI 크롤러를 거부했습니다. 그중 7곳은 일반 오류 페이지가 아니라 Cloudflare 봇 챌린지로 응답했습니다. OpenAI에 따르면 OAI-SearchBot을 거부한 사이트는 ChatGPT search 답변에 표시되지 않으며, 표시되기를 원하는 사이트에는 robots.txt에서 이름을 허용하는 것과 함께 공개된 IP 범위도 허용하라고 요청합니다.
이런 차단 일부는 아마 누구도 직접 쓰지 않았을 것입니다
Cloudflare는 2024년 9월 AI 크롤러를 클릭 한 번으로 차단하는 옵션을 추가했고, 100만 명이 넘는 고객이 이를 켰다고 밝혔습니다. 2025년 7월 1일부터는 새 도메인마다 가입할 때 AI 크롤러를 허용할지 묻습니다. 대시보드에서 한 번 고른 설정이나 계정을 설정한 누군가가 고른 설정은 robots.txt에 나타나지 않습니다. 크롤러가 거부되는데 팀에서 그렇게 정한 기억이 있는 사람이 없다면 먼저 그곳을 보십시오.
10분 안에 둘 다 확인하는 방법
- 먼저 답변용 크롤러에 대해 robots.txt를 읽습니다. OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot입니다. 학습용 크롤러인 GPTBot과 ClaudeBot은 따로 결정합니다.
- curl로 홈페이지를 요청하면서 User-Agent를 각 크롤러 이름으로 설정합니다. 403, 429 또는 챌린지 페이지가 오면 robots.txt 내용과 상관없이 서버가 거부한 것입니다.
- CDN의 봇 및 AI 크롤러 설정을 열어 각 크롤러가 어떻게 설정되어 있는지 확인합니다. Cloudflare에서는 AI 크롤러 관리 설정과 AI 봇을 차단하는 규칙을 모두 확인하십시오.
- 방화벽이 검증된 봇만 통과시킨다면 AI 기업이 공개한 IP 범위가 허용 목록에 있는지 확인하고, 로그에서 해당 크롤러에 대한 403을 찾아보십시오.
Proofsource가 확인하는 방법
Proofsource 사이트 감사는 매번 AI 크롤러마다 robots.txt를 읽고, 각 크롤러로서 홈페이지를 요청합니다. robots.txt가 크롤러를 허용하는데 서버가 거부하면, 첫 스캔이 바꿔야 할 설정과 함께 그 내용을 별도의 한 줄로 보고합니다.
이 분석이 틀릴 수 있는 부분
저희 요청은 OpenAI, Anthropic, Perplexity의 서버가 아니라 저희 서버에서 보냈습니다. 요청의 출처를 확인하는 방화벽은 저희 요청을 거부하면서도 진짜 크롤러에는 응답할 수 있습니다. 봇 챌린지에 특히 해당합니다. 거부는 CDN 설정을 열어 볼 이유로 보시고, ChatGPT가 사이트를 읽지 못한다는 증거로 보지는 마십시오.
크롤러마다 한 번, 홈페이지에만, 한 시점에 요청했습니다. 거부 중 5건은 429 속도 제한이었고, 이는 시간이 지나면 풀릴 수 있습니다. 다른 페이지에는 다른 규칙이 있을 수 있습니다.
대상은 Proofsource에서 추적하는 브랜드 사이트 199곳이며, 웹 전체의 무작위 샘플이 아닙니다. 초기 감사는 크롤러 5개, 이후 감사는 8개를 보냈으므로 Claude-SearchBot, Claude-User, Perplexity-User 수치는 사이트 189곳 기준입니다. 사이트 로그는 보지 않았으므로 진짜 크롤러 방문에 어떻게 응답했는지는 알 수 없습니다.