현장 노트4분 분량

웹사이트 6곳에서 GPTBot, ClaudeBot, PerplexityBot을 자칭한 요청의 53%는 다른 곳에서 왔습니다

봇 이름은 방문자가 직접 입력하는 것입니다. 증거는 주소입니다. 저희가 살펴본 사이트의 절반에서는 AI 크롤러 트래픽 대부분이 위장이었고, 나머지 절반에서는 위장이 거의 없었습니다.

AI 크롤러 요청 64,222개를 봇을 만든 회사의 목록과 대조했습니다

로그에 찍힌 AI 크롤러 방문은 진짜일까요? 크롤러는 사용자 에이전트로 자신을 밝힙니다. "GPTBot/1.1" 같은 한 줄의 텍스트입니다. 이 한 줄은 누구나 보낼 수 있습니다. OpenAI, Anthropic, Perplexity는 각자 봇이 쓰는 IP 주소를 공개하며, 이름과 주소가 일치할 때만 그 회사의 요청입니다.

Cloudflare를 Proofsource 서비스에 연결한 웹사이트가 6곳 있으며, 저희 사이트는 하나도 없습니다. AI 크롤러를 자칭한 모든 요청에 대해 그 주소를 봇을 만든 회사가 공개한 목록과 대조했습니다. 기간은 2026년 10월 12일부터 11월 13일까지 33일이고, 봇은 다섯 개입니다. OpenAI의 GPTBot, OAI-SearchBot, ChatGPT-User, Anthropic의 ClaudeBot, 그리고 PerplexityBot입니다. 수치는 Cloudflare의 샘플링된 요청 데이터에서 추정한 값입니다.

요청의 52.9%가 실패했고, 크롤러 중에서는 GPTBot이 가장 많이 실패했습니다

다섯 봇 중 하나를 자칭한 요청 64,222개 중 33,964개가 봇을 만든 회사의 목록에 없는 주소에서 왔습니다. 52.9%입니다. 봇별 실패 비율은 ChatGPT-User 83.0%, GPTBot 72.6%, ClaudeBot 61.0%, OAI-SearchBot 34.4%, PerplexityBot 34.1%였습니다.

같은 방식으로 Google의 목록과 대조한 Googlebot은 같은 사이트에서 요청의 20.7%가 실패했습니다. 적어도 여기서는 AI 크롤러 이름이 Google의 이름보다 더 자주 위조되었습니다.

세 사이트는 대부분 가짜였고, 세 사이트는 거의 깨끗했습니다

평균은 실제 모습을 가립니다. 세 사이트에서는 AI 크롤러 요청의 69%, 84%, 96%가 확인을 통과하지 못했습니다. 나머지 세 사이트에서는 4%, 5%, 7%였습니다. 가장 나쁜 사이트에서 ClaudeBot은 확인된 요청이 251개, 실패한 요청이 7,144개였습니다.

그래서 "AI 봇 트래픽 중 가짜가 얼마인가"라는 단일 기준은 큰 의미가 없습니다. 회원님의 사이트는 어느 쪽 끝에도 있을 수 있고, 어느 쪽인지는 회원님의 트래픽을 직접 확인해야만 알 수 있습니다.

실패한 주소 253개 중 200개는 다른 회사의 봇도 자칭했습니다

Cloudflare는 봇, 사이트, 날짜별로 최대 세 개의 샘플 주소를 제공합니다. 저희 서버를 제외하면 다섯 봇 중 하나를 자칭하면서 확인에 실패한 샘플 주소는 253개였습니다. 그중 200개는 다른 요청에서 다른 회사의 봇도 자칭했고, 168개는 세 곳 이상의 회사 봇을 자칭했습니다. 한 주소는 9개 회사의 봇 이름 12개를 썼습니다.

실제 크롤러는 그렇게 하지 않습니다. GPTBot은 OpenAI의 목록에서, Googlebot은 Google의 목록에서 옵니다. 둘 다인 주소는 통과할 때까지 이름을 바꿔 보는 누군가이며, 대부분 임대한 클라우드 서버에서 왔습니다.

목록은 실제 트래픽 일부를 놓치므로 모든 목록을 확인하십시오

이 확인은 반대 방향으로도 완벽하지 않습니다. 사용자가 물어본 페이지를 Claude가 읽을 때 쓰는 에이전트인 Claude-User는 이 사이트들에서 요청의 97.5%가 실패했습니다. 샘플로 잡힌 실패의 약 절반은 160.79.104.0/21에서 왔습니다. 이 범위는 Anthropic이 API IP 주소 페이지에서 외부 웹 가져오기와 웹 검색 호출의 출발지로 공개한 것으로, 크롤러 목록은 아닙니다.

이 방문들은 실제일 가능성이 매우 높지만, 크롤러 목록만으로 확인하면 가짜로 표시됩니다. 그래서 Claude-User는 52.9%에서 제외했습니다. 직접 확인한다면 크롤러 파일만이 아니라 각 회사가 가져오기 도구용으로 공개한 모든 범위를 확인하십시오.

저희라면 이렇게 하겠습니다

  • AI 크롤러 방문은 이름이 아니라 확인된 주소로 세십시오. 이름으로 세는 대시보드는 절반 이상이 위장일 수 있습니다.
  • 각 회사의 목록을 쓰십시오. openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json, claude.com/crawling/bots.json과 Anthropic의 API 범위, 그리고 perplexity.ai/perplexitybot.json입니다.
  • 방화벽이 이름으로 봇을 들여보낸다면 주소도 함께 맞춰 보십시오. Perplexity 자체 문서에는 각 사용자 에이전트를 해당 IP 범위와 짝지은 Cloudflare 규칙이 나와 있습니다.
  • 가짜가 한 일 때문에 봇을 이름으로 차단하지 마십시오. 가짜는 그 봇이 아니며, 실제 OAI-SearchBot이나 PerplexityBot을 차단하면 해당 검색 결과에서 빠지게 됩니다.

Proofsource 서비스가 보여 주는 방식

사이트가 Cloudflare를 연결하면 Proofsource 서비스는 AI 크롤러 요청마다 그 주소를 봇을 만든 회사가 공개한 목록과 대조하고, 봇마다 확인된 요청과 실패한 요청을 따로 보여 줍니다. 만든 회사가 목록을 공개하지 않은 봇은 진짜나 가짜로 세지 않고 확인 불가로 표시합니다. 저희 확인에는 위에서 설명한 Claude-User의 공백이 있으며, Anthropic의 API 범위를 추가하고 있습니다.

이 분석이 틀릴 수 있는 부분

사이트 6곳은 작은 표본이고, 모두 가시성 도구에 Cloudflare를 연결한 사이트라 평균적인 사이트와 다를 수 있습니다. 52.9%보다 사이트 간 차이가 더 중요합니다.

Claude-User에서 보듯 목록은 오래되었거나 불완전할 수 있습니다. 다른 봇의 실패 중 일부는 아직 목록에 없는 주소에서 온 실제 트래픽일 수 있습니다. 여러 회사를 자칭한 주소들을 보면 대부분은 그럴 가능성이 낮습니다.

저희 사이트 점검은 이 봇 이름으로 요청을 몇 개 보냅니다. 이 기간에 포함될 수 있는 것은 최대 300개이며, 모두 빼도 52.7%가 남습니다.

요청은 서로 독립적이지 않으며, 바쁜 스크레이퍼 하나가 한 사이트의 수치를 움직일 수 있습니다. 외부의 한 사례에서는 새 사이트 하나를 2주 동안 살펴본 결과, AI 어시스턴트를 자칭한 방문 33개 중 6개만 진짜였습니다. 사이트와 방법은 다르지만 같은 방향을 가리킵니다.

외부 수치의 출처

  1. Overview of OpenAI Crawlers · OpenAI
  2. Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
  3. IP addresses · Anthropic
  4. Perplexity Crawlers · Perplexity
  5. Verify Requests from Google Crawlers and Fetchers · Google
  6. 81.8% Of My 'AI Assistant' Traffic Was Fake. The Googlebot Number Was Worse · Search Engine Journal
모든 노트

질문

로그에 찍힌 AI 크롤러 방문은 진짜입니까?

이름이 아니라 주소를 확인하십시오. 2026년 10월 12일부터 11월 13일까지 웹사이트 6곳에서 OpenAI, Anthropic, Perplexity 봇을 자칭한 요청의 52.9%가 이 회사들이 공개하지 않은 주소에서 왔습니다. 비율은 한 사이트의 4%부터 다른 사이트의 96%까지였습니다.

GPTBot 요청이 정말 OpenAI에서 왔는지 어떻게 확인합니까?

요청의 IP 주소를 OpenAI가 openai.com/gptbot.json에 공개한 목록과 대조하십시오. OpenAI는 OAI-SearchBot과 ChatGPT-User용 목록을 따로 공개하고, Anthropic과 Perplexity도 자체 목록을 공개하며, Google은 자사 크롤러에 대한 역방향 DNS와 IP 목록을 안내합니다.

확인에 실패한 AI 크롤러를 차단해야 합니까?

원한다면 실패한 주소는 차단하되, 봇 이름으로는 차단하지 마십시오. OAI-SearchBot이나 PerplexityBot을 이름으로 차단하면 실제 크롤러도 막히며, 해당 회사들에 따르면 회원님의 페이지가 검색 답변에서 빠지게 됩니다.

관련 메모

당신의 숫자가 저희 최고의 글보다 낫습니다.

당신 카테고리의 후보 목록은 누가 이 페이지를 읽든 말든 지금 이 순간에도 쓰이고 있습니다. 4개 엔진에 질문 25개를 오늘 묻는 무료 체험으로 그 안에 당신 이름이 있는지 알 수 있습니다.

답변 100개. 25 Prompts/질문. 주요 AI 엔진. 무료.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI