정확한 문단을 받고도 도구 8개는 60%의 경우 엉뚱한 출처를 댔습니다
쉬워야 할 시험이 있습니다. 게시된 기사에서 문단 하나를 꺼내 AI 검색 도구에 붙여 넣고, 어느 기사에서 나왔는지, 누가 게시했는지, URL이 무엇인지 묻습니다. 텍스트는 Prompt 안에 그대로 있습니다. 추측할 것은 없습니다.
Tow Center for Digital Journalism은 2025년 2월 바로 그 시험을 도구 8개에 실행했습니다. ChatGPT Search, Perplexity, Perplexity Pro, DeepSeek Search, Copilot, Grok 2, 베타의 Grok 3, Gemini입니다. 게시자 20곳, 각 기사 10개, 모두 1,600회 질의였습니다. 발췌문은 일반 Google 검색에 붙여 넣으면 원문이 상위 3개 결과 안에 나오는 것으로 골랐습니다.
도구들은 합쳐서 질의의 60% 이상에 틀리게 답했습니다. Perplexity가 가장 나았지만 37%를 틀렸습니다. Grok 3는 94%를 틀렸습니다. DeepSeek는 200번 중 115번 발췌문을 엉뚱한 출처에 돌렸습니다.
곱씹어 볼 부분은 확신입니다. ChatGPT는 기사 134개를 잘못 식별했고, 응답 200개에 걸쳐 불확실성을 내비친 것은 15번이었습니다. 답을 거절한 적은 한 번도 없었습니다.
Perplexity 자체 문서는 표시가 Prompt에 따라 달라지며 결과 목록이 진실이라고 말합니다
모델 품질 문제처럼 읽힙니다. 실은 구조 문제에 가깝고, 그 구조는 공급사 자신의 개발자 문서에서 읽을 수 있습니다.
Perplexity Agent API를 통한 웹 검색은 별개의 객체 두 개로 돌아옵니다. 하나는 실행된 검색어와 도구가 가져온 모든 결과를 담은 search_results 항목이며, 각 결과에는 id, url, title, snippet이 있습니다. 다른 하나는 답변 텍스트인 assistant 메시지입니다. 모두가 인용으로 취급하는 대괄호 표시는 그 답변 텍스트 안에 있으며, Perplexity의 도구 참조 페이지는 모델이 그것을 추가할지 자체가 Prompt에 따라 달라지므로 명시적으로 요청하라고 말합니다. 그리고 대신 무엇에 기대야 하는지 개발자에게 알려 줍니다. 표시와 관계없이 각 search_results 항목의 id와 url 필드를 인용의 진실의 원천으로 다루라는 것입니다.
브랜드의 눈으로 읽어 보십시오. 공급사는 자기 개발자에게 보이는 인용은 권위가 없고 가져온 묶음이 권위가 있다고 말하고 있습니다. 바깥에서 AI 가시성을 측정하는 사람은 보이는 인용만 봅니다.
같은 문서는 구조화된 출력 안에 URL을 내보내라고 모델에게 요청하지 말라고도 경고합니다. 링크를 쓰는 모델은 잘못되거나 지어낸 링크를 만들 수 있기 때문이며, 개발자를 다시 검색 결과로 안내합니다. Tow Center는 그 실패의 소비자 쪽 버전을 측정했습니다. Gemini와 Grok 3 응답의 절반 이상에 지어냈거나 깨진 URL이 있었고, Grok 3 인용 200개 중 154개는 오류 페이지로 갔습니다.
시스템이 추출한 인용에는 문자 오프셋이 있습니다
이를 모델이 쓰는 대신 시스템이 계산한 인용과 나란히 놓아 보십시오. Claude API의 Anthropic Citations 기능은 답변의 각 주장마다 정확한 cited_text, 출처 문서의 인덱스, 그 문서 안의 시작과 끝 문자 오프셋을 담은 블록을 돌려줍니다. 문서는 그 형태가 왜 중요한지 분명히 말합니다. API가 인용을 파싱하고 cited_text를 직접 추출하므로, 인용에는 제공된 문서에 대한 유효한 포인터가 보장된다는 것입니다.
Gemini의 Google 그라운딩 API도 같은 원리로 만들어졌습니다. 그라운딩된 답변은 모델이 실제로 실행한 검색과 함께, 각각 답변 텍스트 안의 start_index와 end_index를 가진 url_citation 주석을 돌려주므로, 정확한 구간을 강조하고 그 뒤의 URL을 댈 수 있습니다.
즉 장치는 존재합니다. 시스템이 계산한 포인터인 인용은 확인할 수 있습니다. 모델이 쓴 문자열인 인용은 주장이며, 답변의 다른 모든 주장과 같은 회의를 받아야 합니다. 구매자가 실제로 쓰는 화면은 대부분 두 번째 종류를 보여 줍니다.
다른 도메인에 올라간 회원님의 문단이 공을 가져갑니다
Tow Center는 다른 누구보다 브랜드에 더 세게 닿는 실패 하나를 발견했습니다. 도구들은 원문 대신 신디케이션되거나 재게시된 사본을 거듭 인용했습니다. Perplexity Pro는 질의 10개 중 3개에서 Texas Tribune 기사의 재게시 버전을 인용했는데, Perplexity는 Texas Tribune과 제휴 관계에 있습니다. ChatGPT는 USA Today 기사의 Yahoo News 재게시본을 인용했습니다.
브랜드판은 더 밋밋하고 훨씬 흔합니다. 회원님의 비교 페이지가 두 요금제 등급의 실제 차이를 설명합니다. 모음 블로그가 그것을 바꿔 씁니다. 누군가 카테고리 질문을 하면 모음 글이 링크를 가져가고, 회원님의 표현은 답변에 있으며, 회원님의 도메인은 페이지 어디에도 없습니다.
저희 자체 샘플링에서, 저희가 시험한 한 카테고리의 최고 추천 질문에서 ChatGPT가 인용한 출처의 약 44%가 목록형 글과 모음 글이었습니다. 저희 것이며 샘플링한 범위에 한정됩니다. 그래도 문제의 모양과 맞습니다. 인용 자리는 작고 경쟁이 치열한 면이며, 제3자 페이지는 그 자리를 차지하는 데 매우 능합니다.
발견 하나가 아니라 셋을 세십시오
링크 목록이 엔진이 무엇을 썼는지를 믿을 수 없게 보여 준다면, 인용 수 하나는 잘못된 도구입니다. 세 가지 질문이 깔끔하게 갈라지며, 각각 다른 곳으로 이어집니다.
- 답변이 회원님을 언급했는가? 본문 속 존재는 별도의 측정이며, 링크가 나왔는지와 독립적으로 움직입니다.
- 답변이 회원님을 출처로 밝혔는가, 회원님의 자료를 담은 페이지를 밝혔는가? 후자라면 게재 문제이며, 자기 페이지를 다시 써도 해결되지 않습니다.
- 엔진이 애초에 회원님에게 닿을 수 있었는가? 인용이 빠진 데에는 지루한 이유가 꽤 자주 있으며, 누가 무엇을 다시 쓰기 전에 봇 접근성 확인으로 정리됩니다.
저희가 하는 일
그래서 Proofsource 서비스는 수치 하나를 보고하는 대신 인용 공백과 유령 인용 감지를 실행하며, 모든 데이터 포인트에 출처 유형을 표시합니다. 답변에서 관찰된 것인지, 생성된 것인지입니다. 회원님을 링크 없이 인용한 답변과 회원님을 전혀 보지 못한 답변은 링크를 세는 대시보드에서 똑같아 보입니다.
샘플링이 출처 목록만이 아니라 답변 텍스트를 기록하는 이유이기도 합니다. 회원님의 표현이 본문에 나오는데 출처에는 다른 누군가의 도메인이 나온다면, 그것은 하나의 발견이며 검색되지 않는 것과는 다른 일입니다.
이 분석이 틀릴 수 있는 부분
Tow Center 시험은 2025년 2월에 실행되어 그해 3월 발표되었습니다. 18개월 전이며, 대상 제품 모두 이후 여러 버전을 내놓았습니다. 60%는 이런 종류의 실패가 실재하고 측정 가능하다는 증거로 받아들이시고, 오늘의 오류율로 받아들이지는 마십시오. 저희는 다시 실행하지 않았습니다.
연구 자체의 한계 섹션은 각 질의를 한 번씩 실행했으며, 같은 Prompts를 다시 실행하면 매우 높은 확률로 다른 출력을 얻을 것이라고 말합니다. 출처 표시 정확도 자체가 잡음이 많은 측정입니다.
발췌문을 붙여 넣고 누가 썼는지 묻는 것은 출처 탐침이지 구매자가 쇼핑하는 방식이 아닙니다. 출처 표시에 직접 부하를 주는 것이 그 목적이지만, 일반 카테고리 질문 안에서 출처 표시가 얼마나 자주 틀리는지는 알려 주지 않습니다.
위의 API 동작은 개발자 화면입니다. ChatGPT, AI Overviews, Perplexity 자체 웹사이트가 같은 코드 경로를 탄다는 보장은 없으며, 저희는 소비자 제품 내부가 아니라 문서화된 개발자 동작에서 추론하고 있습니다.
그리고 저희 조언의 정직한 한계입니다. 바깥에서는 가져왔지만 출처로 밝히지 않은 페이지와 전혀 가져오지 않은 페이지를 늘 구분할 수는 없습니다. 크롤러 접근을 확인하면 좁혀집니다. 답변 텍스트에서 자신의 표현을 찾으면 더 좁혀집니다. 어느 것도 완전히 닫지는 못합니다.
