OpenAI는 에이전트 네 개를 보내며, ChatGPT 검색을 좌우하는 것은 하나뿐입니다
GPTBot을 금지하는 robots.txt 코드 조각이 돌고 있습니다. 많은 사람이 그것을 붙여 넣고 ChatGPT 문제를 해결했다고 느꼈습니다. 문제를 하나 해결하긴 했습니다. 다만 그 문제는 아닙니다.
OpenAI는 각자 역할이 있는 사용자 에이전트 네 개를 문서화합니다. GPTBot은 파운데이션 모델 학습에 쓰일 수 있는 콘텐츠를 크롤링합니다. OAI-SearchBot은 ChatGPT 검색 기능에 사이트를 노출하는 데 쓰이며, OpenAI 자체 페이지는 이를 거부한 사이트는 ChatGPT 검색 답변에 나오지 않는다고 말합니다. 탐색용 링크로는 여전히 나올 수 있습니다. ChatGPT-User는 사람이 ChatGPT에 무언가를 물을 때 페이지를 가져오며, 사용자가 시작한 것이므로 robots.txt 규칙이 적용되지 않을 수 있다고 OpenAI는 말합니다. OAI-AdsBot은 광고로 제출된 페이지만 방문합니다.
OpenAI는 각 설정이 독립적이라고 분명히 말합니다. OAI-SearchBot은 허용하고 GPTBot은 금지할 수 있으며, 이는 검색되는 것에는 예, 학습 데이터가 되는 것에는 아니오라는 뜻입니다. 대부분의 회사가 취하기에 합리적인 입장이지만, 저희가 읽은 robots.txt 파일 중 실제로 그렇게 말하는 것은 거의 없습니다. 어느 쪽이든 하루 정도 기다리십시오. OpenAI는 robots.txt 변경이 시스템에 반영되는 데 약 24시간이 걸린다고 말합니다.
Anthropic은 셋으로 나누고, Perplexity는 사람이 물을 때 회원님 설정을 무시합니다
Anthropic은 셋을 운영합니다. ClaudeBot은 학습에 들어갈 수 있는 웹 콘텐츠를 수집합니다. Claude-SearchBot은 검색 결과를 개선하기 위해 콘텐츠를 색인합니다. Claude-User는 누군가 Claude에 질문할 때 페이지를 가져옵니다. Anthropic 도움말 페이지는 각각의 결과를 명시합니다. Claude-SearchBot을 끄면 콘텐츠가 검색용으로 색인되지 않고, Claude-User를 끄면 Claude가 사용자 질문에 답하며 회원님 페이지를 가져오지 않습니다.
Perplexity는 둘을 운영합니다. PerplexityBot은 Perplexity 결과에 사이트를 노출하고 링크하기 위해 존재하며, 학습 데이터 수집에는 전혀 쓰이지 않습니다. Perplexity-User는 누군가 질문할 때 페이지를 방문하며, Perplexity 문서는 굳이 하지 않아도 될 말을 합니다. 사용자가 요청한 가져오기이므로 그 가져오기 도구는 대체로 robots.txt를 무시한다는 것입니다.
합쳐 보면 AI 봇 일괄 차단 규칙은 이상한 곳에 떨어집니다. 위의 에이전트 아홉 개 중 사람들이 막으려는 것 대부분이 구매자 앞에 회원님의 링크를 놓는 것들이고, 그중 하나는 어차피 robots.txt를 듣지 않습니다.
Google-Extended는 AI Overviews와 아무 관계가 없습니다
사람들에게 가장 큰 비용을 치르게 하는 것이 이것입니다. Google-Extended는 자체 사용자 에이전트 문자열이 없는 robots.txt 토큰으로, 크롤링된 콘텐츠가 향후 Gemini 모델을 학습시키고 Gemini Apps의 근거가 되는지를 제어합니다. Google 크롤러 문서는 그것이 Google Search에 사이트가 포함되는 데 영향을 주지 않으며 순위 신호로 쓰이지 않는다고 단언합니다. 차단해도 AI Overviews에는 아무 영향이 없습니다.
AI Overviews와 AI Mode는 Search입니다. Google은 사이트 소유자를 위한 자체 안내에서 그렇게 말합니다. AI는 Search에 내장되어 있으며, Googlebot에 대한 robots.txt 지시가 제어 수단입니다. 그다음 사람들이 걸리는 문장이 나옵니다. AI Overviews나 AI Mode에서 뒷받침 링크가 되려면 페이지가 색인되어 있고 스니펫과 함께 표시될 자격이 있어야 합니다. 회원님이나 전임자가 스크레이퍼를 막으려고 nosnippet, data-nosnippet, 빡빡한 max-snippet을 설정했다면, AI 답변에서 스스로를 뺀 것이며 분석 도구 어디에도 보고되지 않았습니다.
같은 Google 안내는 이런 기능에 나오기 위해 새로운 기계 판독 파일이나 AI 텍스트 파일을 만들 필요가 없다고 말합니다. 저희는 한동안 llms.txt를 해결책으로 다루지 말라고 말해 왔습니다. 저희가 지켜보는 어떤 엔진도 그것을 순위 신호로 문서화하지 않습니다. Google이 그 일반론을 자기 말로 밝혀 주니 유용합니다.
CDN이 이미 회원님 대신 답했을 수 있습니다
2025년 7월 1일 Cloudflare는 AI 크롤러가 콘텐츠 비용을 내지 않으면 차단하는 것을 기본값으로 바꾼다고 발표했고, 회원님을 대신해 제공하며 새 봇이 나타날 때마다 갱신하는 관리형 robots.txt를 내놓았습니다. 이제 Cloudflare에 새로 등록하는 모든 사이트는 설정 단계에서 이 선택을 요청받습니다.
그래서 많은 회사에게 robots.txt가 ChatGPT에 대해 뭐라고 말하느냐는 질문의 정직한 답은 모르겠다, CDN이 쓴다입니다. WAF 규칙은 같은 일을 더 철저히 합니다. 요청이 원본 서버에 도달하지 않으므로, 로그나 분석 도구 어디에도 일어나지 않은 방문은 기록되지 않습니다. 회원님 페이지는 여전히 순위에 있고, 로드되고, 회원님 눈에는 멀쩡해 보입니다.
그리고 도달한 가져오기도 단어를 담아 돌아와야 합니다. 클라이언트 렌더링 페이지는 이런 에이전트에게 200과 빈 컨테이너를 건네며, 회원님에게는 작동하는 페이지로, 그들에게는 아무것도 아닌 것으로 읽힙니다.
오후 한나절에 정리되는 확인 여섯 가지
이 중 무엇도 도구가 필요하지 않습니다. curl, 로그, 한 시간이면 됩니다. 저희는 이를 Cloudflare 크롤러 분석을 바탕으로 한 봇 접근성 감사로 실행하지만, 모든 항목을 직접 할 수 있습니다.
- 저장소가 아니라 공개 인터넷에서 robots.txt를 가져와 각 토큰을 이름으로 검색하십시오. OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot.
- 모든 하위 도메인에 대해 하십시오. docs.example.com과 www.example.com은 별개의 파일이고 별개의 결정이며, 인용되기를 바라는 것은 대개 docs 하위 도메인입니다.
- 인용되기를 바라는 페이지를 각 에이전트의 공개된 사용자 에이전트 문자열로 요청하고 돌아온 것을 읽으십시오. 빈 div와 함께 온 200은 통과가 아니라 실패입니다.
- CDN과 WAF에서 현재 팀의 누구도 쓰지 않은 관리형 robots.txt나 봇 규칙을 찾아보십시오.
- 가장 좋은 페이지의 head에서 noindex, nosnippet, data-nosnippet, max-snippet을 확인하십시오. 그중 어느 것이든 페이지를 AI Overviews 자격에서 조용히 뺄 수 있습니다.
- 접근 로그에서 에이전트 이름을 grep한 뒤, 출발지 주소를 OpenAI, Perplexity, Anthropic이 공개한 IP 범위와 대조하십시오. 사용자 에이전트 문자열은 누구나 입력할 수 있습니다. 검증이 되는 것은 주소 범위입니다.
이 분석이 틀릴 수 있는 부분
위의 모든 내용은 각 엔진이 자기 크롤러를 설명한 것이며, 토큰과 동작 모두 움직입니다. Anthropic 페이지에는 2026년 4월 날짜가 있고, Google 크롤러 목록은 2026년 7월에 마지막으로 갱신되었으며, OpenAI는 페이지를 가져오는 제품을 출시할 때마다 에이전트를 추가합니다. 한 줄이라도 바꾸기 전에 이 글이 아니라 현행 문서를 읽으십시오.
robots.txt는 요청입니다. 회사가 자기 봇이 그것을 따른다고 말하는 것은 정책 진술이지 강제 수단이 아니며, 여기의 가져오기 도구 중 두 개는 사용자가 시작한 요청에는 아예 적용하지 않는다고 문서화합니다. 무언가를 읽히지 않게 해야 한다면, robots.txt는 처음부터 그 도구가 아니었습니다.
크롤러를 들이는 것만으로 인용되지도 않습니다. 접근은 바닥이지 답이 아닙니다. 저희가 샘플링한 카테고리에서 최고 추천 질문에 ChatGPT가 인용한 것의 44%가 목록형 글이었으므로, 읽힐 수 있는 것과 선택되는 것은 별개의 문제입니다. 저희의 44%는 저희가 취한 표본에 대한 단일 측정이지 상수가 아닙니다.
그래도 오후 한나절을 쓸 가치가 있습니다. 이 실패는 구조상 소리가 없기 때문입니다. 일어나지 않은 가져오기는 어디에서도 보고되지 않습니다.
