다시 물으면 브랜드가 78% 유지되었고, 바꿔 물으면 55%였습니다
구매자 질문 테스트에 관한 조언 대부분은 실행마다 답변이 달라지므로 프롬프트를 3~5번씩 물으라고 합니다. 저희는 측정값을 더 크게 움직이는 것이 그 흔들림인지 표현인지 알고 싶어, 같은 데이터에서 둘 다 측정했습니다.
표본은 2026년 10월 4일부터 15일까지 Proofsource 워크스페이스에서 나온 답변 13,994개입니다. 69개 워크스페이스의 브랜드 96곳, ChatGPT, Perplexity, Claude, Google AI Overviews의 구매자 질문 1,908개이며, 질문, 엔진, 날짜별 첫 답변만 쓰고 브랜드 이름이 들어간 질문은 제외했습니다. 각 브랜드의 질문은 구매 결정 하나씩인 주제에 속하며, 보통 3~5가지로 표현됩니다.
브랜드를 언급한 모든 답변을 잡고, 다음에 같은 엔진에서 같은 질문을 물었을 때를 봅니다. 578개 중 448개가 여전히 브랜드를 언급했습니다. 77.5%(95% 구간 73.9%~80.7%)입니다. 엔진이 이전 답변을 글자 그대로 돌려준 55쌍은 제외했습니다. 재생은 두 번째 표본이 아니기 때문입니다.
이제 같은 결정의 다른 표현을 같은 엔진, 같은 날에 봅니다. 5,934개 중 3,270개가 브랜드를 언급했습니다. 55.1%입니다. 한 표현이 회원님을 언급한다는 사실은, 다른 날의 같은 표현보다 형제 표현에 대해 더 약한 단서였습니다.
데이터가 충분한 브랜드 15곳 모두에서 같은 차이가 나타났습니다
합산 수치는 큰 브랜드 하나가 전부를 좌우하는 것을 감출 수 있으므로 브랜드별로 실행했습니다. 브랜드 15곳이 각 유형의 쌍을 10개 이상 가졌습니다. 15곳 모두에서 형제 표현이 같은 표현의 반복보다 브랜드를 덜 자주 언급했습니다. 중앙값 브랜드는 형제 표현의 35%, 반복의 70%에서 이름이 유지되었습니다.
경쟁사도 마찬가지였습니다. 한 답변에서 언급된 추적 경쟁사가 그날 형제 표현에서 언급된 비율은 40.2%(61,804개 중 24,840개), 다음에 같은 표현에서는 77.0%(9,539개 중 7,347개)였습니다.
주제 쪽에서 보면 더 극명합니다. 브랜드가 한 엔진에서 주제의 표현 중 하나 이상에서 언급된 840일 중, 모든 표현에서 언급된 날은 102일뿐이었습니다. 나머지 738일(87.9%)은 갈렸습니다.
일대일 질문은 답변의 2.9%에서만 브랜드를 언급했습니다
그 차이의 일부는 한 가지 질문 형태에서 옵니다. "경쟁사 A vs 경쟁사 B"를 묻는 구매자는 A와 B에 대한 답변을 받습니다. 그런 답변 1,822개에서 브랜드는 53개(2.9%, 2.2%~3.8%)에서 언급되었습니다. 이름이 나온 경쟁사의 대안을 묻는 질문은 14.9%로 훨씬 나았고, 가격이나 팀 규모 조건이 붙은 질문(15.1%), 단순한 "최고는 무엇인가" 질문(13.9%)도 마찬가지였습니다.
일대일 질문을 빼면 차이는 줄지만 사라지지는 않습니다. 그러면 형제 표현이 브랜드를 언급한 비율은 62.9%(4,746개 중 2,984개)로, 여전히 77.5%에 크게 못 미칩니다.
그리드 배터리에 대해 묻는 다섯 가지 방법 중 두 가지는 Tesla를 한 번도 언급하지 않았습니다
Tesla는 저희의 공개 예시입니다. 그리드 저장 주제에는 하나의 결정에 대한 표현 다섯 가지, 엔진 네 개, 스캔일 사흘(10월 4일, 8일, 15일, 10월 5일 답변은 10월 4일을 글자 그대로 반복해 제외)이 있어, 표현마다 새 답변이 12개입니다.
- "What are the best grid-scale battery storage systems for a utility company?" 12개 중 12개에서 Tesla 언급.
- 이름이 나온 경쟁사의 유틸리티 규모 저장 장치 대안: 12개 중 12개.
- "Which commercial battery energy storage system should I choose for peak shaving at a large facility?" 12개 중 7개, Claude에서는 하나도 없음.
- "How much does a utility-scale lithium iron phosphate battery storage system cost per MWh?" 12개 중 0개.
- "What should I look for when comparing turnkey battery storage providers for a solar farm?" 12개 중 0개.
아무도 이기지 않은 표현에서 지는 것은 다른 문제입니다
마지막 두 개의 0은 경쟁사가 Tesla를 이긴 것이 아닙니다. 답변 24개 중 어느 것도 Tesla나 다른 세 표현이 언급한 공급사를 언급하지 않았습니다. 엔진은 MWh당 가격과 조달 체크리스트로 답했습니다. 그렇게 묻는 구매자는 기준을 받고, 그 기준을 쓴 쪽이 구매자가 나중에 만들 후보 목록을 형성합니다.
그러니 표현을 테스트할 때 지는 표현을 두 더미로 나누십시오. 다른 누군가가 언급되었다면, 들어가야 할 후보 목록이 있고 엔진이 인용한 페이지가 어디인지 알려 줍니다. 아무도 언급되지 않았다면, 써야 할 가이드가 있습니다. 엔진이 선택 방법을 설명할 때 인용하는 종류의 페이지입니다.
이를 바탕으로 표현을 테스트하는 방법
표현은 형태별로 쓰십시오. "best"를 "top"으로 바꾸는 것은 거의 아무것도 테스트하지 않습니다. 구매자가 거치는 형태를 다루십시오. 열린 "최고는 무엇인가" 질문, 조건이 붙은 같은 질문, 이름이 나온 경쟁사의 대안, 비용이나 기준에 대한 질문입니다.
- 평균을 내기 전에 표현별로 따로 보고하십시오. 주제 점수는 12개 중 12개와 12개 중 0개를 섞어 어느 쪽도 설명하지 못하는 중간값을 만듭니다.
- 일대일 질문은 별도 그룹으로 두십시오. 알아 둘 가치가 있지만, 어떤 평균이든 끌어내립니다.
- 각 표현을 서로 다른 날에 반복하고, 글자 그대로의 재생 답변은 버리십시오.
- 지는 표현을 고친 다음, 바로 그 표현으로 다시 물으십시오. 형제 표현에서의 승리는 인정되지 않습니다.
Proofsource 서비스가 처리하는 방식
Proofsource 서비스는 각 표현을 하나의 독립된 질문으로 추적하고, 주제로 묶어 요금제의 모든 엔진에서 실행합니다. 답변마다 언급된 브랜드와 인용된 페이지를 기록하므로, 지는 표현에서 대신 누가 언급되었는지, 혹은 아무도 언급되지 않았는지 보여 줍니다.
이 분석이 틀릴 수 있는 부분
표현 1,908개 중 18개를 제외한 모두는 Proofsource 서비스가 각 브랜드의 사이트와 경쟁사를 바탕으로 생성했으므로 저희의 형태를 따릅니다. 실제 구매자는 저희가 테스트하지 않은 방식으로 표현합니다. 대부분의 질문은 하루나 이틀, 일부는 최대 11일 물었으므로, 반복 수치는 578쌍에 근거하며 이력이 긴 브랜드에 기웁니다.
쌍의 개수는 독립적이지 않습니다. 한 답변이 여러 쌍에 나타날 수 있으므로, 각 개수가 서로 다른 답변으로 이루어진 경우에만 구간을 제시했고, 주요 비교는 브랜드별 점검에 기댔습니다. "언급됨"은 저희 추출이 답변을 읽은 결과이며, 누락은 어느 쪽에서든 차이로 나타납니다. 10월의 12일은 하나의 단면이며, 모델 업데이트가 무엇이든 바꿀 수 있습니다.
