언급으로 집계된 답변 167개가 브랜드에 대해 거짓을 말했습니다
언급률은 각 답변에 한 가지만 묻습니다. 브랜드가 언급되었는가? 언급된 뒤 답변이 무엇을 말했는지는 묻지 않습니다. 저희는 이 둘이 얼마나 자주 어긋나는지 알고 싶었습니다.
표본은 2026년 10월 4일부터 16일까지 Proofsource 워크스페이스에서 ChatGPT, Perplexity, Claude, Google AI Overviews로부터 나온 답변입니다. 추적 중인 브랜드를 언급한 모든 답변에서, 검사기가 브랜드에 관한 각 주장을 브랜드가 확인한 사실 또는 브랜드 자체 사이트에서 읽은 사실과 비교했습니다. 63개 워크스페이스, 80개 브랜드에 걸친 답변 2,137개가 보관된 사실과 대조할 수 있는 주장을 하나 이상 담고 있었습니다.
그중 167개(7.8%)가 브랜드 자체의 사실과 모순되는 주장을 하나 이상 담고 있었습니다(95% 구간 6.8%~9.0%). 주장 단위로 보면 검증 가능한 주장 4,761개 중 200개(4.2%)가 틀렸습니다. 브랜드 단위로 보면 80곳 중 36곳이 2주도 안 되어 틀린 답변을 하나 이상 받았습니다.
그 답변 167개는 모두 언급률에 포함되었습니다. 대시보드에서는 모든 것을 맞힌 답변과 똑같아 보였습니다.
틀린 주장의 대부분은 숫자였습니다: 개수, 가격, 제품의 정체
틀린 주장 200개를 단순한 텍스트 규칙으로 주제별로 분류했으므로, 분포는 대략적인 것으로 보십시오.
- 개수와 기타 수치 92개: 연동 수, 지점 수, 서비스한 고객 수, 1포인트 틀린 취업률.
- 제품이 무엇이고 무엇을 하는지 50개: 견적 도구를 프로젝트 관리 소프트웨어로, 보안 회사를 블록체인 프로젝트로 설명했습니다.
- 가격과 요금제 48개: 실제보다 낮은 시작 가격, 잘못된 요금제별 크레딧.
- 날짜는 규칙상 10개였지만 실제 설립 연도는 6개뿐이었고, 대부분 1년 차이였습니다.
Claude는 답변의 12%, Perplexity는 5%에서 사실을 틀렸습니다
엔진별로 틀린 주장이 하나 이상 있는 답변의 비율은 Claude 12.3%(470개 중 58개), Google AI Overviews 8.7%(516개 중 45개), ChatGPT 6.0%(612개 중 37개), Perplexity 5.0%(539개 중 27개)였습니다.
이를 순위표로 읽지 마십시오. 표본에서 각 엔진은 서로 다른 질문 조합에 답했고, 방법이 다른 외부 연구는 순위를 다르게 매겼습니다(아래 참고). 네 엔진 모두에 공통된 사실은 어느 엔진도 깨끗하지 않았다는 것입니다.
브랜드 자체 사이트를 인용한 답변은 틀리는 빈도가 절반이었습니다
"이 회사는 무엇을 합니까"나 "가격은 얼마입니까"처럼 브랜드 이름이 들어간 질문에서, 답변은 브랜드 자체 사이트를 1,353번 인용했습니다. 그중 7.1%(96개)가 사실을 틀렸습니다. 브랜드 사이트가 인용에 없을 때는 15.3%가 틀렸습니다(307개 중 47개, 구간 11.7%~19.8%).
브랜드 이름이 들어가지 않은 구매자 질문에서는 뚜렷한 차이가 없었습니다. 훨씬 적은 수에서 4.8% 대 5.7%였습니다. 이것은 상관관계이지 검증이 아닙니다. 하지만 가장 저렴한 해결책을 가리킵니다. 엔진이 회원님을 설명할 때, 회원님의 페이지를 읽고 있으면 더 자주 정확합니다.
틀린 사실 176개, 그중 162개는 한 번만 나왔습니다
틀린 주장을 브랜드, 사실, 값으로 묶으면 200개가 서로 다른 틀린 사실 176개로 줄어듭니다. 그중 162개는 답변 하나에만 나왔습니다. 반복된 것은 14개뿐이었고, 두 개 이상의 엔진에 나온 것은 8개뿐이었습니다.
이는 대응 방식을 바꿉니다. 한 엔진이 한 번 말한 틀린 가격은 다시는 보지 못할 수도 있는 우연입니다. 계속 돌아오거나 두 엔진에 나오는 것은 어딘가에서 오고 있으며, 그 어딘가는 보통 페이지입니다. 엔진이 인용한 페이지에서도 브랜드 17곳에 대한 틀린 사실 65개를 찾았습니다. 이미 오류를 담고 있던 제3자 페이지였습니다.
회원님의 언급률 뒤에서 열어 볼 것
수치만 보여 주는 도구는 이 중 어느 것도 알려 줄 수 없습니다. 답변을 요청하십시오.
- 회원님이 언급된 모든 질문의 답변 전문을 읽으십시오. 회원님을 가장 많이 언급하는 질문부터 시작하십시오.
- 회원님에 대한 각 주장을 가격, 제품, 회사 소개 페이지와 대조하십시오. 가격, 개수, 설립일이 가장 먼저 낡습니다.
- 답변이 정말 회원님에 관한 것인지 확인하십시오. 비슷한 이름의 회사가 회원님의 언급으로 집계될 수 있습니다.
- 인용된 페이지를 여십시오. 회원님의 사이트가 없다면, 엔진은 다른 누군가의 페이지로 회원님을 설명하고 있습니다.
- 조치하기 전에 반복 횟수를 세십시오. 여러 날이나 여러 엔진에 걸쳐 반복되는 주장을 먼저 고치고, 그 출처가 되는 페이지를 찾으십시오.
Proofsource 서비스가 처리하는 방식
Proofsource 서비스는 모든 답변의 전문과 인용된 페이지를 보관합니다. 회원님의 브랜드를 언급한 각 답변에서, 회원님에 대한 주장을 회원님이 확인한 사실 및 회원님 사이트에서 읽은 사실과 대조하며, 인용된 주장과 올바른 값이 모두 글자 그대로 나타날 때만 틀렸다는 판정을 유지합니다. 같은 틀린 값이 다시 보이면 새 알림을 띄우지 않고 기존 알림의 횟수를 늘리며, 비슷한 이름의 다른 회사에 대한 답변은 회원님의 것으로 집계하지 않고 표시합니다.
이 분석이 틀릴 수 있는 부분
검사기는 보관된 사실과 대조해 읽는 언어 모델입니다. 틀린 주장 200개 중 25개를 직접 읽었습니다. 21개는 명백한 모순이었고, 4개는 약했습니다(빠진 세부 사항을 오류로 읽은 경우, 범위, 자기 모순인 사실 목록, 다른 제품에 대한 주장). 또한 보관된 사실과 일치하는 주장만 판단합니다. 다른 주장 5,330개는 일치하는 사실이 없어 판단하지 않았으므로, 브랜드가 적어 두지 않은 내용의 오류는 놓칩니다.
브랜드 자체의 사실도 낡았을 수 있으며, 그러면 맞는 답변이 잘못 "틀림"으로 판정됩니다. 80개 브랜드는 대부분 Proofsource에 가입한 소규모 회사로 무작위 표본이 아니며, 12일은 짧은 기간이어서 틀린 사실이 반복될 기회도 제한됩니다.
외부 비교: Searchable은 브랜드 1,704곳의 직원들에게 AI 엔진이 자사에 대해 말한 사실 32,556개를 평가하게 했고, 9.2%가 거짓으로 표시되었으며 가격이 13.5%로 가장 나쁜 범주였습니다. 평가자는 낡은 세부 사항을 포함해 틀렸다고 아는 것은 무엇이든 표시할 수 있었는데, 이는 저희의 사실 대조 검사보다 넓으며 비율이 더 높은 이유일 가능성이 큽니다. 그들은 비교한 세 엔진 중 Perplexity가 가장 부정확하다고 보았는데, 저희 순서와 정반대입니다.
