자사 사이트를 고치세요, AI가 읽고 알아볼 수 있도록.

자체 사이트는 AI 엔진이 인용하는 것 중 작은 부분이지만, 나머지 모든 것의 관문입니다. 크롤러가 차단되거나 이름이 모호하면 어떤 아웃리치도 소용이 없습니다. 이 장에서는 크롤러 접근, 정체성, 페이지에 쓸 내용, llms.txt를 다룹니다.

무료 체험 시작하기 데모 신청

답변 200개. 25 Prompts/질문. 주요 AI 엔진. 2일. 무료. 카드 불필요.

AI 가시성 가이드 전체 6장 중 4장

AI 크롤러가 우리 사이트를 읽을 수 있나요?

엔진마다 자체 봇을 보내며, 봇마다 따로 허용하거나 차단할 수 있습니다. 오늘 답변에 나올 수 있는지를 정하는 것은 검색용 봇과 사용자 요청용 봇입니다. 학습용 크롤러는 향후 모델이 무엇을 배울 수 있는지를 정합니다.

엔진	중요한 봇
ChatGPT	OAI-SearchBot, GPTBot, ChatGPT-User
Perplexity	PerplexityBot, Perplexity-User
Claude	ClaudeBot, Claude-SearchBot, Claude-User
Google AI Overviews	Googlebot, Google-Extended

대부분이 차단하는 봇은 노출 여부를 정하는 봇이 아닙니다. OpenAI는 GPTBot을 학습용 크롤러로, OAI-SearchBot을 ChatGPT 검색에 사이트를 노출하는 봇으로 문서화하고 있으며, OAI-SearchBot을 차단한 사이트는 ChatGPT 검색 답변에 표시되지 않습니다. Anthropic은 ClaudeBot(학습용)을 Claude-SearchBot, Claude-User와 구분하고, Perplexity는 PerplexityBot을 학습에 전혀 쓰지 않는다고 밝힙니다. Google 크롤러 문서에 따르면 Google-Extended는 Google 검색 포함 여부에 영향을 주지 않으므로, 이를 차단해도 AI Overviews에는 아무 효과가 없습니다(크롤러 전체 지도).

흔한 실패는 두 가지이며, 둘 다 브라우저로 사이트를 봐서는 드러나지 않습니다.

엣지에서 차단. robots.txt가 허용하더라도 CDN의 봇 차단 설정이 AI 크롤러에 오류를 돌려줄 수 있습니다. Cloudflare는 2025년 7월 1일, 대가를 내지 않는 AI 크롤러를 기본으로 차단하겠다고 발표했습니다. 저희 무료 AI 크롤러 검사기 같은 robots.txt 검사기는 차단이 서버에서 일어나기 때문에 여전히 모든 봇을 허용으로 표시합니다.
JavaScript가 실행되기 전까지 빈 페이지. 텍스트가 스크립트 실행 후에만 나타나면, 사람에게는 수천 단어가 보이는 곳에서 많은 봇은 빈 페이지나 몇 단어만 봅니다.

Google에는 한 가지가 더 있습니다. AI Overviews나 AI Mode에서 보조 링크로 노출되려면 페이지가 색인되어 있고 스니펫 표시가 가능해야 합니다. 그래서 nosnippet이나 엄격한 max-snippet 규칙은 AI 답변에서도 그 페이지를 빼 버립니다.

5분 만에 직접 확인하기

중요한 페이지를 봇별로 가져와 상태 코드와 돌아오는 단어 수를 확인하세요:

curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot" https://yoursite.com/
curl -s -o /dev/null -w "%{http_code}\n" -A "ClaudeBot" https://yoursite.com/
curl -s -A "OAI-SearchBot" https://yoursite.com/ | sed 's/<[^>]*>//g' | wc -w

403이나 503이 나오면 무언가 그 봇을 차단하고 있다는 뜻입니다. 단어 수가 페이지에서 보이는 양보다 훨씬 적다면 텍스트가 JavaScript에 의존한다는 뜻입니다. CDN에서 차단을 풀고, 주요 콘텐츠를 HTML로 제공하세요.

AI는 우리가 어떤 회사인지 알고 있나요?

엔진이 우리를 추천하려면 먼저 우리가 어떤 회사인지 알아야 합니다. 이름이 더 유명한 회사와 비슷하면, 모델은 가장 잘 아는 쪽으로 기웁니다.

유명한 이름조차 여러 뜻으로 읽힙니다. 공개된 Tesla 사례(2026년 10월 4일)에서 Google AI Overviews는 “What is Tesla?”라는 질문에 같은 이름의 자기 단위부터 설명했고, Perplexity는 “Is Tesla worth it?”에 주식을 묻는 것인지 자동차를 묻는 것인지 되물으며 답했습니다. 더 유명한 회사와 이름이 비슷한 신생 브랜드일수록 위험은 더 큽니다. 엔진이 다른 회사를 설명해 버리는 것입니다.

우리가 무엇이고 누구를 위한 것인지 밝히는 명확한 문장 하나를 쓰세요. 홈페이지 맨 위, 메타 설명, 모든 프로필에 넣으세요.
LinkedIn과 리뷰 사이트를 포함해 어디서나 회사명 표기를 하나로 통일하세요.
공식 사이트와 이를 확인해 주는 프로필 링크를 담은 Organization 구조화 데이터를 추가하세요.
다른 회사와 이름이 같다면 분명히 밝히세요. 그 회사가 아니라는 문장 하나가 엔진에 인용할 거리를 줍니다.

저희도 이 조언을 따릅니다. Proofsource is not ProveSource가 바로 그 내용을 밝히는 페이지입니다.

6,343개 중 1개

llms.txt를 게시한 사이트에 대한 인용 중 그 파일을 가리킨 인용. 그것도 llms-full.txt였고, llms.txt를 인용한 답변은 없었습니다.

가장 많이 인용된 도메인 300개, 2026년 8월 23일~10월 5일

16%

검색에 한 웹사이트로 한정한 site: 검색이 포함된 ChatGPT 답변. 저희가 읽은 표본에서는 대개 그 회사 자체 사이트였습니다.

ChatGPT 답변 2,502개, 2026년 10월 4일~13일

55%

질문에 연도가 없는데도 검색에 올해 연도를 붙인 ChatGPT 답변.

같은 표본

우리 페이지에는 무엇을 써야 하나요?

자체 사이트는 엔진이 인용하는 것 중 작은 부분으로, 저희 AI 인용 연구에서 인용의 약 0.8%에 불과합니다. 하지만 우리가 통제할 수 있는 부분이고, ChatGPT 답변은 곧장 그리로 갑니다. 저희가 표본으로 본 답변의 16%가 한 웹사이트로 한정한 검색을 실행했습니다. 또 질문에 연도가 없는 답변의 55%에서 검색에 올해 연도를 붙였습니다. 그러니 올해 날짜가 있고 우리 카테고리를 쉬운 말로 밝힌 페이지가 ChatGPT 답변이 만드는 검색어와 맞아떨어집니다.

사실 질문에 명확히 답하세요: 제품이 무엇인지, 누구를 위한 것인지, 가격은 얼마인지, 무엇과 연동되는지를 크롤러가 읽을 수 있는 텍스트로.
정직한 비교 페이지를 게시하세요. 다른 제품에 관한 모든 주장에는 출처를 다세요. 경쟁사의 비교 페이지와 제품 페이지는 엔진이 가장 많이 인용하는 페이지에 속합니다(3장).
구매 가이드를 쓰세요. 엔진이 아무도 언급하지 않는 질문을 위한 것으로, 엔진이 고르는 법을 설명할 때 인용하는 선택 기준 페이지입니다.
이미 1위인 페이지를 고치세요. Google에 따르면 다시 크롤링하는 데 며칠에서 몇 주가 걸릴 수 있습니다. 새 페이지는 무엇이든 가져가기 전에 먼저 발견되고 색인되어야 합니다.

llms.txt가 필요한가요?

아닙니다. llms.txt는 언어 모델을 위해 사이트의 핵심 페이지를 나열하는, 제안 단계의 마크다운 파일입니다. Google의 생성형 AI 기능 가이드(최종 업데이트 2026년 7월 10일)는 검색이 이 파일을 쓰지 않으므로 게시해도 Google 검색 가시성에 해도 득도 없다고 밝히며, 저희가 추적하는 엔진 중 순위에 llms.txt를 쓴다고 밝힌 곳은 없습니다.

솔직한 결과입니다. 저희 표본에서 AI 엔진이 가장 많이 인용한 도메인 300개에서 /llms.txt를 가져왔습니다. 129곳이 파일을 게시했고, 이 129개 사이트는 6,343번 인용됐습니다. 파일을 가리킨 인용은 하나였는데 그것도 llms-full.txt였고, llms.txt를 가리킨 인용은 없었습니다. 가장 많이 인용된 도메인 10곳 중 8곳은 파일이 없었고 2곳은 저희 확인을 차단했습니다(llms.txt 연구). Ahrefs도 반대편에서 같은 결과를 얻었습니다. 2026년 5월 표본의 파일 중 97%는 요청을 단 한 번도 받지 않았습니다.

게시해도 해롭지 않고, 문서를 읽는 에이전트는 실제로 이 파일을 씁니다. 그래도 게시한다면 llms.txt 생성기로 작성하고, 게시된 파일은 llms.txt 검사기로 확인하세요.

그 밖에 건너뛰어도 되는 것은?

특별한 “AI 마크업”. Google은 자사 AI 기능을 위해 필요한 특별한 schema.org 마크업도, 새로운 기계 판독 파일도 없다고 밝힙니다. 위의 Organization 마크업 같은 일반 구조화 데이터는 여전히 엔진이 우리를 읽는 데 도움이 됩니다.
반사적으로 학습용 크롤러 차단하기. 정당한 선택이지만, 향후 모델이 우리에 대해 덜 배우게 됩니다. 의도적으로 결정하고, 검색용 봇을 실수로 차단하는 일은 절대 없도록 하세요.