단순 요청으로 가져오면 72곳 중 7곳에서 핵심 페이지 본문이 빠졌습니다
ChatGPT는 누군가를 위해 페이지를 읽을 때 서버가 돌려준 HTML을 가져오고 거기서 멈춥니다. Claude의 리더와 Perplexity의 크롤러도 마찬가지입니다. 로드 후 스크립트가 쓰는 내용은 이들이 받는 것에 없습니다. 그래서 중요한 문장이 첫 응답에 들어 있는지가 관건입니다.
2026년 10월 5일부터 17일까지 Proofsource 서비스는 워크스페이스에서 추적하는 각 브랜드의 홈페이지와 최대 네 개의 핵심 페이지를 점검했습니다. 각 페이지를 두 번 가져왔습니다. 스크립트를 실행하지 않는 단순 요청인 저희 크롤러로 한 번, 스크립트를 실행하는 브라우저로 한 번입니다. 브라우저 버전을 텍스트 블록으로 나누고, 그 단어 중 단순 요청에도 나타난 비율을 셌습니다.
사이트 72곳의 페이지 211개에서 쓸 만한 측정값을 얻었습니다. 중앙값 페이지는 95%였고, 211개 중 144개가 90% 이상이었습니다. 24개 페이지는 절반 미만이었습니다.
24개 페이지 모두에서 빠진 텍스트를 직접 읽었습니다. 그중 12개(사이트 7곳)는 구매자가 읽을 텍스트를 잃었습니다. 사이트 72곳 중 7곳, 즉 9.7%(95% 구간 4.8%~18.7%)입니다.
50% 미만 페이지의 절반은 오경보였습니다
나머지 12개는 심각해 보였지만 아니었습니다. 한 사이트의 페이지 4개에서 빠진 텍스트는 쿠키 동의 패널이었습니다. 큰 소프트웨어 사이트의 페이지 5개는 인라인 이미지 코드가 단어로 집계되어 7%~16%가 나왔습니다. 나머지는 리뷰 양식, 실시간 거래 카운터, 음악 플레이어였습니다.
그러니 점수를 믿기 전에 블록을 읽으십시오. 비율은 빠진 가격표와 빠진 쿠키 배너를 구분하지 못합니다. 빠진 항목의 목록은 구분할 수 있습니다.
사라진 것: 헤드라인, 고객 사례, 가격표
실제 손실 12건을 익명으로 정리했습니다.
- 홈페이지 세 곳은 한두 단어만 돌아왔습니다. 두 곳은 단순 요청에 회사 이름만 주고 나머지는 없었습니다.
- 한 소프트웨어 회사의 고객 사례 목록과 사례 하나가 0%였습니다. 모든 고객 인용문을 스크립트가 썼습니다.
- 한 개발자 도구의 가격 페이지는 15%였습니다. 무료 등급의 사용량, 체험 조건, 요금제 한도가 모두 로드 후에 나타났습니다.
- 한 사이트는 홈페이지와 함께 블로그 목록과 연락처 페이지도 비어 있었습니다.
- 한 디자이너의 포트폴리오는 홈페이지의 소개와 서비스 목록 전체를 잃었습니다.
- 큰 마켓플레이스의 홈페이지와 서비스 페이지는 18%와 7%만 남았습니다. 목록, 가격, 평점이 페이지 이후에 로드됩니다.
제품 페이지가 가장 잘 버텼습니다: 31개 중 1개만 절반 미만
제품 페이지는 저희가 점검한 유형 중 가장 안전했습니다. 31개가 측정값을 냈고, 중앙값은 92%였으며, 절반 미만이었던 하나는 리뷰 양식만 빠져 있었습니다. 홈페이지가 가장 위험했습니다. 72개 중 8개가 절반 미만이었고, 실제 손실 12건 중 5건이 홈페이지였습니다.
Google은 페이지를 렌더링합니다. ChatGPT 리더, Claude, Perplexity는 렌더링하지 않습니다.
Vercel과 MERJ는 2024년 12월, OpenAI의 크롤러 세 개, ClaudeBot, PerplexityBot을 포함한 주요 AI 크롤러 중 어느 것도 JavaScript를 렌더링하지 않는다는 것을 발견했습니다. Gemini는 Googlebot의 인프라를 사용했고 렌더링했습니다.
더 최근의 로그도 누군가 질문할 때 페이지를 가져오는 리더에 대해 같은 결과를 보여 줍니다. Forge는 2026년 9월 24일까지 30일 동안 한 뉴스 사이트의 요청을 셌습니다. ChatGPT-User는 페이지 읽기 37,045회 동안 페이지를 로드하면서 스크립트를 하나도 가져오지 않았습니다. Claude-User는 10,028회, PerplexityBot은 3,193회였고 역시 스크립트는 없었습니다. 다음 날의 테스트에서 ChatGPT, Claude, Gemini는 모두 HTML에 쓰인 암호 단어만 보고했고, 스크립트가 추가한 두 단어는 보고하지 않았습니다.
Google은 다릅니다. Google 문서에 따르면 헤드리스 Chromium이 페이지를 렌더링하고 Google은 렌더링된 HTML을 색인하며, AI Overviews나 AI Mode에 나오려면 페이지가 색인되고 스니펫 대상이기만 하면 됩니다. 따라서 스크립트가 쓴 텍스트가 Google의 AI 답변에는 닿으면서, ChatGPT가 같은 페이지를 실시간으로 읽을 때는 빠져 있을 수 있습니다.
미해결 질문이 하나 있습니다. 한 개발자는 9월 30일, OpenAI의 검색 및 학습 크롤러가 9월 25일부터 자신의 Next.js 사이트 페이지를 렌더링하기 시작했다고 보고했습니다. OpenAI는 이를 발표하지 않았으며, 위에서 본 ChatGPT-User의 결과를 바꾸지도 않습니다.
10분 만에 직접 페이지 점검하기
처음 확인하는 데는 도구가 필요 없습니다.
- 페이지에서 중요한 문장 세 개를 고르십시오. 헤드라인, 가격, 고객 인용문입니다.
- 페이지 소스를 열고(렌더링된 페이지를 보여 주는 요소 검사기가 아닙니다) 각 문장을 검색하십시오. 터미널에서는 URL을 curl로 가져와 grep으로 찾으면 됩니다.
- 브라우저 설정에서 해당 사이트의 JavaScript를 끄고 새로고침하십시오. 남는 것이 대략 이 크롤러들이 받는 내용입니다.
- 빠진 쿠키 배너, 채팅 위젯, 팝업은 무시하십시오. 헤드라인, 제품 설명, 가격, 고객 사례, FAQ는 서버 렌더링, 정적 생성, 사전 렌더링으로 서버의 HTML에 옮기십시오.
- 브라우저에서는 페이지가 열리는데 단순 요청이 403을 받는다면 CDN이나 방화벽을 확인하십시오. 사이트 네 곳이 그런 식으로 저희 크롤러를 거부했습니다. 알 수 없는 봇을 막는 방화벽도 검증된 AI 크롤러는 통과시킬 수 있으므로 그 사이트들은 제외했습니다.
Proofsource 서비스가 처리하는 방식
Proofsource 서비스는 추적하는 각 브랜드의 홈페이지와 최대 네 개의 핵심 페이지에서 이 점검을 실행합니다. 스크립트를 실행하지 않고 robots.txt를 따르는 단순 요청을 같은 페이지의 렌더링 사본과 비교합니다. 단순 요청이 얻은 단어 비율을 보여 주고, 읽은 블록 옆에 빠진 블록을 나열하며, 그 페이지에 대한 개선안을 제안합니다. 10월 4일 점검했을 때 저희 홈페이지는 0%였습니다. 단순 요청이 2,416단어 중 9단어를 얻었습니다. 지금은 사이트를 사전 렌더링하며, 홈페이지를 단순 요청으로 가져오면 본문이 돌아옵니다.
이 분석이 틀릴 수 있는 부분
저희 크롤러는 GPTBot이 아닙니다. ProofBot으로 자신을 밝히며, 봇을 이름으로 구분하는 사이트는 AI 크롤러에게 다른 것을 줄 수 있습니다. 저희를 거부한 사이트 네 곳이 눈에 보이는 사례입니다.
실제 손실과 오경보의 구분은 빠진 텍스트 일부를 저희가 직접 읽은 판단이며, 50% 미만인 페이지만 읽었습니다. 78%인 페이지도 중요한 것을 잃을 수 있습니다. 그 점수의 한 홈페이지는 작동 방식 단계와 연동 목록을 잃었습니다. 따라서 7곳은 중요한 것을 잃은 페이지의 최솟값입니다. 채점 규칙에는 인라인 이미지 코드처럼 점수를 끌어내리는 알려진 잡음도 있습니다.
마켓플레이스 목록 같은 개인화 콘텐츠는 방문자마다 다를 수 있습니다. 각 사이트의 측정값은 10월 5일부터 17일 사이의 최신 점검이며, 사이트는 바뀝니다. 72곳은 대부분 Proofsource 워크스페이스를 가진 소규모 회사와 이들이 추적하는 일부 큰 브랜드로, 웹의 무작위 표본이 아닙니다.
외부 근거도 얇습니다. 2024년 연구 하나, 뉴스 사이트 로그 하나, 개발자 보고 하나입니다.
