GPTBot이란 무엇입니까?
GPTBot은 OpenAI의 생성형 AI 파운데이션 모델 학습에 쓰일 수 있는 콘텐츠를 수집하는 OpenAI의 웹 크롤러입니다. OpenAI가 문서화한 사용자 에이전트 네 가지 중 하나이며, 학습을 담당하는 유일한 에이전트입니다. 차단하면 OpenAI에게 회원님의 페이지를 학습에 쓰지 말라고 알리는 것이고, ChatGPT 검색에서 빠지지는 않습니다. 그 역할은 OAI-SearchBot이 맡습니다.
GPTBot의 사용자 에이전트 문자열은 무엇입니까?
GPTBot은 제품 토큰 GPTBot으로 자신을 식별하며, robots.txt 그룹에서 지정해야 하는 것도 이 토큰입니다. OpenAI는 버전 번호가 바뀔 수 있다고 경고하므로, 로그에서는 전체 문자열이 아니라 토큰으로 찾으십시오. 또한 GPTBot이 robots.txt를 가져올 때 문자열에 robots.txt 표시를 추가해 그런 요청을 구분할 수 있다고 밝힙니다.
로그에 적힌 이름은 어떤 스크레이퍼든 복사할 수 있습니다. 요청이 진짜인지 확인하려면 OpenAI가 openai.com/gptbot.json에 공개한 목록과 IP를 대조하십시오.
OpenAI 문서에 나온 전체 문자열은 다음과 같습니다(OpenAI 크롤러 문서, 2026년 10월 15일 확인).
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotGPTBot은 무엇을 하고, 무엇을 하지 않습니까?
GPTBot은 OpenAI의 생성형 AI 파운데이션 모델 학습에 쓰일 수 있는 콘텐츠를 크롤링하며, OpenAI가 밝힌 역할은 그것이 전부입니다. robots.txt에서 차단하면 사이트의 콘텐츠를 그 학습에 쓰지 말라는 신호가 됩니다.
가시성에는 GPTBot이 하지 않는 일이 더 중요합니다.
- 회원님의 페이지가 ChatGPT 검색에 나오는지를 정하지 않습니다. OpenAI는 이를 OAI-SearchBot에 연결합니다.
- 누군가 ChatGPT에게 페이지에 관해 물을 때 그 페이지를 여는 에이전트도 아닙니다. 그것은 ChatGPT-User입니다.
- 규칙은 다른 규칙과 독립적입니다. OpenAI는 robots.txt 설정이 각각 따로 작동한다고 말합니다.
- GPTBot과 OAI-SearchBot을 모두 허용하면, OpenAI는 한 번의 크롤링을 두 목적에 함께 쓸 수 있다고 말합니다.
GPTBot은 OAI-SearchBot, ChatGPT-User와 어떻게 다릅니까?
세 에이전트는 서로 다른 일을 하므로, robots.txt 한 줄이 다른 줄을 대신할 수 없습니다. GPTBot을 차단하면 사이트가 ChatGPT에서 빠진다고 믿고 쓰는 흔한 규칙의 혼동이 여기서 생깁니다. GPTBot을 차단해도 ChatGPT에서 사라지지 않습니다.
| 에이전트 | 역할 | 차단하면 |
|---|---|---|
| GPTBot | OpenAI 파운데이션 모델 학습에 쓰일 수 있는 콘텐츠를 크롤링합니다 | 콘텐츠를 학습에 쓰지 말라는 신호가 됩니다 |
| OAI-SearchBot | ChatGPT 검색 기능에 웹사이트를 표시합니다 | ChatGPT 검색 답변에 나타나지 않습니다. 다만 탐색 링크로는 계속 나타날 수 있습니다 |
| ChatGPT-User | 사용자가 ChatGPT나 맞춤형 GPT에 질문하거나 GPT Actions를 통해 페이지를 방문합니다 | 사용자가 시작한 방문이므로 robots.txt 규칙이 적용되지 않을 수 있다고 OpenAI는 말합니다 |
| OAI-AdsBot | ChatGPT 광고로 제출된 랜딩 페이지의 안전성을 확인합니다 | ChatGPT에 광고를 집행하지 않는다면 관련이 없습니다. 제출된 광고 페이지만 방문합니다 |
robots.txt에서 GPTBot을 차단하거나 허용하려면 어떻게 합니까?
사이트 루트의 robots.txt에서 GPTBot을 별도 그룹으로 지정하십시오. 흔한 선택은 GPTBot은 차단하고 OAI-SearchBot은 허용하는 것입니다. 학습은 거부하고 ChatGPT 검색은 허용하는 셈입니다.
OpenAI는 robots.txt 변경이 검색 결과에 반영되기까지 약 24시간이 걸릴 수 있다고 말합니다. 규칙은 엣지에서 무시될 수도 있습니다. CDN이나 방화벽의 봇 설정이 robots.txt가 허용한 에이전트를 차단할 수 있습니다. 무료 AI 크롤러 점검 도구로 두 가지를 모두 확인하십시오.
# 학습은 거부
User-agent: GPTBot
Disallow: /
# ChatGPT 검색은 허용
User-agent: OAI-SearchBot
Allow: /ChatGPT에 인용되는 데에는 어떤 의미가 있습니까?
공개된 Tesla 예시(2026년 10월 4일)에서 ChatGPT 엔진은 다른 엔진보다 브랜드 자체 사이트를 훨씬 자주 인용했습니다. 구매자 질문 25개에서 인용 93건 중 tesla.com이 12건으로 약 13%였고, 나머지 세 엔진은 합쳐서 915건 중 5건이었습니다.
이 링크들은 ChatGPT의 검색 기능에서 나오며, OpenAI는 이를 GPTBot이 아니라 OAI-SearchBot에 연결합니다. GPTBot을 차단해도 영향이 없고, OAI-SearchBot을 차단하면 영향이 있습니다. ChatGPT가 언급할 브랜드를 고르는 방법을 참고하십시오.
GPTBot에 대해 자주 묻는 질문
GPTBot을 차단하면 사이트가 ChatGPT에서 사라집니까?
아닙니다. GPTBot은 학습용 크롤러입니다. OpenAI는 OAI-SearchBot을 거부한 사이트가 ChatGPT 검색 답변에 나타나지 않는다고 말하며, GPTBot에는 그런 역할이 없습니다. robots.txt 설정은 각각 독립적입니다.
GPTBot을 차단하면 OpenAI가 이미 수집한 콘텐츠가 삭제됩니까?
OpenAI의 크롤러 페이지는 GPTBot 규칙을 콘텐츠를 학습에 쓰지 말라는 신호로 설명합니다. 규칙을 추가하기 전에 수집된 콘텐츠에 대해서는 아무 말도 하지 않으므로, 삭제된다고 가정하지 마십시오.
요청이 정말 GPTBot에서 왔는지 어떻게 압니까?
OpenAI가 openai.com/gptbot.json에 공개한 목록과 출발지 IP를 대조하십시오. 사용자 에이전트 문자열만으로는 어떤 스크레이퍼든 복사할 수 있습니다.
GPTBot은 ChatGPT-User와 같습니까?
아닙니다. ChatGPT-User는 사람이 ChatGPT나 맞춤형 GPT에 무언가를 물을 때 페이지를 방문하며, OpenAI는 자동 크롤링에 쓰이지 않는다고 말합니다. 사용자가 시작한 방문이므로 robots.txt 규칙이 적용되지 않을 수 있습니다.
관련 용어
- OAI-SearchBot
OAI-SearchBot은 ChatGPT 검색 기능에 웹사이트를 노출하는 OpenAI의 크롤러이며, 이를 거부한 사이트는 ChatGPT 검색 답변에 표시되지 않습니다.
- ClaudeBot
ClaudeBot은 Anthropic의 Claude 모델 학습에 쓰일 수 있는 웹 콘텐츠를 수집하는 Anthropic의 웹 크롤러입니다.
- PerplexityBot
PerplexityBot은 웹페이지가 Perplexity 검색 결과에 표시되고 링크될 수 있도록 색인하는 Perplexity의 크롤러입니다.
실전 예시: Tesla, 공개 AI 답변, 2026년 10월 4일: Proofsource가 Tesla를 대상으로 한 첫 스캔으로, 구매자 질문 25개와 브랜드 질문 5개를 네 엔진에 각각 한 번씩 물었습니다. 한 브랜드의 작은 표본이며, 벤치마크가 아니라 예시로 보여 드립니다.
