AI 크롤러와 Googlebot용 robots.txt 검사기

결과는 여기에 표시됩니다. 아무것도 저장되지 않고 AI 모델도 쓰지 않습니다: robots.txt를 그대로 읽을 뿐입니다.

• GPTBot · OpenAI · 학습

  OpenAI 모델 학습을 위해 페이지를 수집합니다.

• OAI-SearchBot · OpenAI · 검색

  ChatGPT 검색이 인용할 수 있도록 페이지를 색인합니다.

• ChatGPT-User · OpenAI · 사용자 요청 가져오기

  ChatGPT 사용자가 요청할 때 페이지를 엽니다.

• ClaudeBot · Anthropic · 학습

  Claude 모델 학습을 위해 페이지를 수집합니다.

• Claude-SearchBot · Anthropic · 검색

  Claude 검색 답변에서 인용할 수 있도록 페이지를 색인합니다.

• Claude-User · Anthropic · 사용자 요청 가져오기

  Claude 사용자가 요청할 때 페이지를 엽니다.

• anthropic-ai · Anthropic · 학습

  많은 robots.txt 파일이 아직도 지정하고 있는 예전 Anthropic 토큰.

• PerplexityBot · Perplexity · 검색

  Perplexity 답변에서 인용할 수 있도록 페이지를 색인합니다.

• Perplexity-User · Perplexity · 사용자 요청 가져오기

  Perplexity 사용자가 요청할 때 페이지를 엽니다.

• Google-Extended · Google · 학습

  Googlebot이 크롤링한 페이지로 Gemini 모델이 학습해도 되는지 결정합니다. 검색에는 영향이 없습니다.

• Googlebot · Google · 검색

  AI Overviews와 AI Mode의 바탕이 되는 Google 검색.

• Bingbot · Microsoft · 검색

  Bing 검색. Copilot 답변이 참고하는 색인입니다.

• Applebot-Extended · Apple · 학습

  Applebot이 크롤링한 페이지로 Apple이 모델을 학습해도 되는지 결정합니다.

• CCBot · Common Crawl · 학습

  많은 모델이 학습에 쓰는 공개 Common Crawl 데이터셋을 만듭니다.

• Meta-ExternalAgent · Meta · 학습

  Meta AI 모델 학습을 위해 페이지를 수집합니다.

• Bytespider · ByteDance · 학습

  ByteDance 모델 학습을 위해 페이지를 수집합니다.

규칙은 RFC 9309를 따릅니다: 크롤러는 자신을 지정한 그룹을, 없으면 * 그룹을 따르며, 가장 길게 일치하는 규칙이 우선하고 동률이면 Allow가 이깁니다. 판정은 홈페이지 기준입니다. 학습 크롤러는 미래 모델에 데이터를 공급하고, 검색 크롤러는 지금 AI 답변이 우리를 인용할 수 있는지를 정하며, 사용자 요청 가져오기는 누군가 어시스턴트에게 페이지를 열어 달라고 할 때 일어납니다.

robots.txt는 접근의 절반일 뿐입니다. robots.txt가 허용한 크롤러도 CDN 봇 설정이 돌려보낼 수 있으며, 이 검사로는 그것을 볼 수 없습니다. Proofsource 서비스의 크롤러 접근 기능은 각 크롤러인 것처럼 페이지를 요청해 확인합니다. GPTBot을 차단해도 ChatGPT 검색에서 빠지지 않는 이유를 읽고, llms.txt 검사기로 파일을 확인하거나, AI 가시성 가이드부터 시작하세요.