저희 ChatGPT 답변의 3분의 2는 한 번도 웹을 검색하지 않았습니다
ChatGPT가 왜 브랜드를 언급하지 않는지 검색하면 늘 같은 목록이 나옵니다. 권위를 쌓고, ChatGPT가 신뢰하는 비교 글에 들어가라는 것입니다. 모든 항목은 모델이 회원님의 카테고리에 대해 무언가를 읽고 회원님을 다른 누군가보다 아래에 뒀다고 가정합니다. 하지만 아무것도 읽지 않은 경우가 많습니다.
2026년 8월 22일부터 10월 1일까지 두 가지를 모두 확인할 수 있는 완료 답변 364개를 채점했습니다. 답변이 어떤 브랜드를 언급했는지, 그리고 어떤 페이지를 인용했는지입니다. 인접한 B2B 소프트웨어 카테고리에 걸친 계정 3개의 브랜드 4곳이며, 인용을 돌려주는 두 엔진에서 나왔습니다. Google AI Overviews, 그리고 웹 검색 도구를 붙여 OpenAI API를 호출하는 저희 ChatGPT 엔진입니다. 좁은 단면이므로 여기의 모든 수치는 저희 것으로 읽어 주십시오.
- 그 답변 중 226개가 ChatGPT 엔진에서 나왔고, 그중 215개가 모델이 실행한 웹 검색 횟수를 저장했습니다.
- 215개 중 147개는 검색을 0회 실행해, 아무것도 가져오지 않았습니다. 68%입니다.
- 68개는 검색을 한두 번 실행했습니다.
검색 여부가 언급률을 6%에서 78%로 움직였습니다
아무것도 검색하지 않은 답변 147개 중 9개가 브랜드를 언급했습니다. 6.1%이며, 95% 신뢰구간은 3.3%~11.2%입니다. 검색한 68개 중에서는 53개가 언급했습니다. 77.9%, 구간 66.7%~86.2%입니다. 두 구간은 가까이 가지도 않습니다.
뻔한 반론은 이것들이 서로 다른 질문이라는 것입니다. 모델은 정의형 질문보다 상업적 비교 질문에서 검색할 가능성이 높고, 그런 질문에서 공급사를 언급할 가능성도 높습니다. 그래서 반복해서 물었고 양쪽으로 갈린 프롬프트 9개를 골라 같은 질문을 자기 자신과 비교했습니다. 검색한 실행은 답변 23개 중 18개(78.3%)에서 브랜드를 언급했습니다. 검색하지 않은 실행은 29개 중 7개(24.1%)였습니다. 차이는 작아졌지만 방향은 같고, 구간은 여전히 떨어져 있습니다.
6%가 아니라 24%를 정직한 하한으로 보십시오. 모델이 무언가를 찾아봤는지가 회원님을 언급하는 답변과 그렇지 않은 답변을 가르는 가장 큰 요인이었으며, 그것은 회원님의 페이지와 아무 상관이 없습니다.
검색은 모델이 프롬프트마다 내리는 판단입니다
이에 관해 돌아다니는 조언은 몇 년 뒤처져 있습니다. 널리 읽힌 한 가이드는 독자가 고르는 것처럼, 각 프롬프트를 기본 채팅에서 한 번, 브라우징을 켜고 한 번 실행하라고 말합니다. 다른 가이드는 ChatGPT가 "doesn't retrieve specific documents"이며 학습 패턴으로 작동한다고 설명하는데, 이는 검색이 일어나지 않은 답변만 설명합니다.
OpenAI API 문서는 더 분명합니다. 웹 검색 도구를 붙이면 사용할 수 있게 될 뿐이며, 문서의 표현으로는 모델이 입력 프롬프트의 내용에 따라 웹을 검색할지 말지 선택할 수 있습니다. tool_choice가 auto이면 검색은 선택 사항이고, 반드시 검색해야 한다면 tool_choice를 required로 해야 합니다. 누구도 스위치를 켜지 않습니다. 모델이 프롬프트마다 정하며, 같은 질문에도 두 번 다르게 정할 수 있습니다.
즉 회원님의 가시성 수치는 두 집단을 더한 것입니다. 일부 답변은 찾아보고 회원님을 뺐습니다. 일부는 아예 찾아보지 않았습니다. 다른 문제이고 다른 해결책이 필요한데, 하나의 비율이 둘 다 감춥니다.
Google AI Overviews에는 찾아보지 않는 경우가 없습니다
다른 엔진은 전혀 다르게 움직였습니다. 채점한 AI Overview 답변 138개 중 81개가 브랜드를 언급하지 않았고, 81개 모두 어쨌든 다른 페이지를 인용했습니다. 답변당 출처 중앙값은 8개, 최대 16개였습니다.
그래서 AI Overviews에서 놓친 것은 읽기 쉽습니다. 그 질문을 위해 페이지 8개를 가져왔고 회원님의 것은 없었습니다. Google 가이드에 따르면 페이지는 색인되고 스니펫으로 표시될 수 있으면 추가 요건 없이 보조 링크 대상이 되며, 모든 요건을 충족해도 Google이 크롤링, 색인, 제공한다는 보장은 없습니다. Google은 또한 시스템이 기존 검색에 보탬이 된다고 판단할 때만 AI Overviews가 나타난다고 말하므로, 나타나지 않는 경우가 많습니다. 그 미표시는 세 번째 결과이며 이 집계에는 들어 있지 않습니다.
브랜드 자체 페이지를 인용한 답변 97개 중 94개가 브랜드를 언급했습니다
검색 쪽에서 읽으면 관계는 한쪽으로 치우칩니다. 두 엔진을 합쳐 답변 97개가 브랜드 자체 도메인의 페이지를 출처 목록에 넣었고, 그중 94개가 브랜드를 언급했습니다. 96.9%, 구간 91.3%~98.9%입니다. ChatGPT 엔진에서는 44개 중 44개였습니다. 브랜드의 페이지를 하나도 인용하지 않은 검색 답변에서는 24개 중 9개로 떨어졌습니다.
반대 방향은 성립하지 않습니다. 브랜드를 언급한 답변 119개 중 출처에 자체 페이지가 있던 것은 94개(79.0%)뿐이었습니다. 다섯 개 중 하나는 브랜드의 어떤 것도 가져오지 않고 브랜드를 언급했으며, 이는 모델이 이미 아는 것으로 작동한 것입니다.
저희 데이터에서 회원님의 URL 하나를 검색 집합에 넣는 것은 언급에 거의 충분했지만, 필수는 아니었습니다. 답변 97개로는 인과라고 말할 수 없습니다.
저희라면 실제로 할 일
비용이 적은 순서대로입니다.
- 조치하기 전에 언급률을 답변이 무언가를 가져왔는지로 나누십시오. 두 집단에 걸친 하나의 수치가 실수입니다.
- 아무것도 가져오지 않은 답변은 이번 주에 페이지를 다시 써도 움직이지 않습니다. 그것은 모델의 사전 지식이며, 더 넓은 웹이 회원님에 대해 이야기하는 시간 단위로 바뀝니다.
- 가져온 답변이라면 그 답변이 쓴 출처를 읽으십시오. AI Overviews에서는 질문당 약 8개 페이지이며, 회원님 대신 누가 끌려왔는지 정확히 알려 줍니다.
- AI 가시성 점수를 제시하는 어떤 도구에든 이 둘 중 무엇을 세는지 물어보십시오. 답하지 못한다면, 그 수치는 서로 다른 두 실패의 평균입니다.
이 분석이 틀릴 수 있는 부분
가장 큰 단서는 엔진이 아니라 저희에게 있습니다. 저희 ChatGPT 엔진은 웹 검색 도구를 붙이고 tool_choice를 auto로 두며, 상업적이거나 최신성이 중요해 보이는 프롬프트에서만 검색을 강제하므로, 아무것도 검색하지 않은 68%는 부분적으로 저희 정책의 산물입니다. 실제 ChatGPT 세션은 자체적으로 검색을 결정하며 저희 샘플러가 유도하는 것보다 더 자주 브라우징할 수 있습니다. 같은 프롬프트 안의 비교는 양쪽이 같은 정책으로 실행되었으므로 영향을 받지 않으며, 저희가 내세울 수치는 그것입니다.
브랜드 4곳과 계정 3개는 얇고, 그중 두 브랜드가 답변 대부분을 냈습니다. 채점 세트도 일부분입니다. 언급 추출이 브랜드 행을 만든 실행, 즉 ChatGPT 실행 1,047개 중 226개만 다룹니다. 검색 횟수는 저장된 응답의 검색 호출 항목에서 나오며 실패한 것도 포함하므로 상한값입니다.
OpenAI가 직접 문서화한 것이 하나 더 있습니다. 본문 인용은 전체 검색이 아닙니다. sources 필드는 모델이 참고한 모든 URL을 돌려주며, 이것이 인용 목록보다 긴 경우가 많다고 밝힙니다. 저희는 인용을 읽으므로 "회원님의 페이지가 출처에 없었다"는 "저희가 볼 수 있는 출처에 없었다"는 뜻이며, 자체 도메인의 실제 검색 비율은 저희 측정값보다 높습니다. AI Overview 데이터는 DataForSEO를 통해 받으며, 그 검색을 저희가 직접 다시 렌더링하지는 않았습니다.
