AI 크롤러가 사이트에 접근해 내용을 읽을 수 있는지 확인하세요.

Proofsource 크롤러 접근 기능은 AI가 사이트에서 학습할 수 있는지를 좌우하는 두 가지를 점검합니다. GPTBot, ClaudeBot, PerplexityBot 등 AI 크롤러가 허용되고 실제로 페이지를 받는지, 그리고 그들이 받는 페이지에 회원님의 글이 담겨 있는지 아니면 빈 JavaScript 껍데기인지입니다.

내 브랜드 스캔 데모 신청

답변 200개. 25 Prompts/질문. 주요 AI 엔진. 2일. 무료. 카드 불필요 · 영업 전화 없음

Acme /웹사이트 /크롤러 접근

예시

robots.txt모두 허용모든 AI 크롤러 허용

서버 응답5개 중 2개 거부GPTBot, ClaudeBot 요청에 403 응답

봇이 읽을 수 있는 단어2,140개 중 38개JavaScript로 렌더링되는 페이지

크롤러	robots.txt	서버 응답
GPTBot(OpenAI 학습)	허용됨	거부됨(403)
OAI-SearchBot (ChatGPT 검색)	허용됨	제공됨 (200)
ChatGPT-User (ChatGPT 브라우징)	허용됨	제공됨 (200)
ClaudeBot (Anthropic)	허용됨	거부됨(403)
PerplexityBot (Perplexity)	허용됨	제공됨 (200)

robots.txt에 있는 모든 AI 크롤러에 대한 판정.

Proofsource 시스템은 robots.txt를 읽고 AI 크롤러 10개에 대한 판정을 내립니다. 어떤 크롤러가 무슨 일을 하는지 아는 것이 중요합니다. OAI-SearchBot과 PerplexityBot은 실시간 답변을 위해 페이지를 가져오고, GPTBot과 Google-Extended는 학습 데이터를 좌우하므로, AI 검색에서 사라지지 않고도 학습만 막을 수 있습니다.

GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider
허용 또는 차단, 파일을 읽을 수 없으면 판단 불가로 표시하며 추측하지 않습니다
Google-Extended 항목은 별도 크롤러가 아니라 robots.txt 토큰이며, 토큰으로 점검합니다

크롤러 접근 /robots.txt

예시

토큰	용도	판정
GPTBot	OpenAI 모델 학습	허용 안 됨
OAI-SearchBot	ChatGPT 검색 결과	허용됨
ClaudeBot	Anthropic 크롤링	허용됨
PerplexityBot	Perplexity 답변	허용됨
Google-Extended	Gemini 및 Vertex AI 학습	허용 안 됨

robots.txt는 요청일 뿐입니다. 누구를 들일지는 서버가 정합니다.

사이트가 robots.txt에서 GPTBot을 허용하고도 CDN 봇 방화벽에서 403으로 응답할 수 있습니다. Proofsource 측정에서는 홈페이지를 GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot으로 요청하고 서버가 실제로 무엇을 돌려줬는지 기록합니다. robots.txt 점검 도구만으로는 이 모두를 허용됨으로 보고할 것입니다.

크롤러별 제공, 거부, 불분명
각 크롤러가 받은 상태 코드
robots.txt 점검이 놓치는 CDN·방화벽 차단까지 잡아냅니다

크롤러 접근 /서버 점검

예시

User-agent: GPTBot · Allow: /
GPTBot으로 GET / → 403 Your request was blocked.

robots.txt는 허용했지만, 엣지가 거부했습니다.

원인은 robots.txt가 아니라 CDN의 봇 설정이었습니다. robots.txt 검사기만 썼다면 모든 크롤러가 허용된다고 보고했을 것입니다.

봇이 페이지를 실제로 얼마나 읽을 수 있는지 확인하세요.

많은 AI 크롤러는 원본 HTML을 읽고 JavaScript 를 실행하지 않습니다. Proofsource 는 브라우저가 렌더링한 문구와 원본 HTML의 문구를 비교합니다. 클라이언트 렌더링 페이지는 브라우저에서는 수천 단어를 보여 주지만 봇에게는 수십 단어만 보여 줄 수 있습니다. 콘텐츠가 JavaScript 실행 후에만 나타난다면 대부분의 AI 크롤러는 그것을 보지 못합니다.

페이지별 렌더링된 단어 수 대비 원본 HTML 단어 수
본문 텍스트, H1, 크롤링 가능한 링크가 없는 페이지를 표시합니다
서버 렌더링이나 사전 렌더링을 배포한 뒤 다시 확인하세요

크롤러 접근 /봇이 보는 화면

예시

브라우저 렌더링 vs 원본 HTML페이지의 단어

브라우저(JavaScript 켜짐)2,140

원본 HTML(대부분의 봇이 읽는 것)38

점검	결과
HTML 안의 본문 텍스트	없음
HTML 안의 H1	없음
크롤러가 따라갈 수 있는 링크	찾은 항목 없음

AI가 우리를 읽지 못하면 추천할 수도 없습니다.

보이지 않는 차단 찾기

CDN의 봇 설정은 팀의 누구도 모르는 사이에 AI 크롤러를 돌려보낼 수 있습니다. 서버 점검을 하면 드러납니다.

문구가 보이게 하기

JavaScript로만 렌더링되는 페이지는 대부분의 AI 크롤러에게 거의 빈 페이지입니다. 렌더링 점검이 얼마나 가까운지 측정합니다.

학습은 차단하고 검색은 유지

크롤러별 판정은 어떤 AI 시스템을 들여보내는지 정확히 보여 주므로, 학습 차단이 실수가 아닌 선택이 됩니다.

구매자가 묻는 질문

GPTBot 크롤러가 내 웹사이트에 접근할 수 있는지 어떻게 확인하나요?

두 가지를 확인하세요. 첫째, robots.txt 파일이 GPTBot을 차단하지 않아야 합니다. 둘째, 서버: GPTBot 사용자 에이전트로 페이지를 요청해 CDN이나 방화벽의 403이 아니라 200을 받는지 확인하세요. Proofsource 시스템은 두 가지를 모두 점검하고 페이지에 읽을 수 있는 텍스트가 있는지도 확인합니다.

GPTBot과 OAI-SearchBot의 차이는 무엇인가요?

GPTBot 크롤러는 OpenAI 모델 학습에 쓰일 수 있는 콘텐츠를 수집합니다. OAI-SearchBot 크롤러는 ChatGPT 검색 결과를 위해 페이지를 가져오고, ChatGPT-User 에이전트는 사용자 대화에 필요할 때 페이지를 가져옵니다. GPTBot 크롤러를 차단해도 ChatGPT 검색에서 빠지지 않지만, OAI-SearchBot 크롤러를 차단하면 빠집니다.

Google-Extended란 무엇인가요?

Google-Extended 항목은 별도 크롤러가 아니라 robots.txt 토큰입니다. 이를 차단하면 Google이 회원님의 콘텐츠를 Gemini 및 Vertex AI 모델 학습에 사용하지 않도록 알리게 됩니다. Google 검색에는 영향을 주지 않습니다.

AI 크롤러가 JavaScript 웹사이트를 읽을 수 있나요?

상당수는 못 합니다. 여러 AI 크롤러가 서버가 반환하는 원본 HTML만 읽고 JavaScript 를 실행하지 않으므로, 클라이언트 렌더링 페이지는 거의 비어 보일 수 있습니다. 서버 측 렌더링이나 사전 렌더링을 쓰면 모든 크롤러가 읽을 수 있는 HTML 안에 텍스트가 들어갑니다.

내가 모르는 사이에 사이트가 AI 크롤러를 차단하는 이유는?

CDN과 보안 업체는 봇 차단 설정을 제공하며, 일부는 AI 학습 크롤러를 기본으로 또는 스위치 하나로 차단합니다. 차단은 서버에서 일어나므로 robots.txt에는 여전히 크롤러가 허용된 것으로 나옵니다. 크롤러로서 직접 요청해 봐야만 드러납니다.

Proofsource 서비스를 무료로 써 볼 수 있나요?

예. 답변 200개. 25 Prompts/질문. 주요 AI 엔진. 2일. 무료. ChatGPT, Perplexity, Claude 및 Google AI Overviews에서 구매자 질문 25개, 오늘과 내일. 카드 불필요. 두 번째 스캔 후에는 스캔이 일시 중지되고 답변은 계정에 그대로 남습니다.

Proofsource 비용은 얼마인가요?

모두에게 같은 가격표: 요금제는 월 US$9부터입니다(ChatGPT에서 질문 5개, 매주). 브랜드마다 매일(브랜드당 월 US$28) 또는 매주 (US$7) 요금에, 선택한 엔진별 질문 비용이 더해집니다. 모든 요금제에서 팀원은 무제한입니다. 초과 요금은 없습니다.