AI 가시성을 측정하세요, 스스로를 속이지 않고.

다시 묻는 것보다 더 크게 바꿉니다. 브랜드 96개에 대한 답변 13,994개를 보면, 구매 결정의 한 표현에서 언급된 브랜드가 같은 날 비슷한 다른 표현에서도 언급된 경우는 55%였습니다. 같은 표현을 나중에 다시 물었을 때는 78%가 그 브랜드를 유지했습니다(표현 연구).

공개된 Tesla 사례(2026년 10월 4일, 8일, 15일 스캔)가 그 차이를 보여 줍니다. 전력망 저장장치라는 같은 구매 결정을 다섯 가지로 표현했을 때, 두 표현은 답변 12개 중 12개에서 Tesla 브랜드를 언급했고, 두 표현은 한 번도 언급하지 않았습니다. 그 두 표현은 MWh당 비용과 구매 기준을 물었고, 엔진은 가격과 체크리스트로 답하면서 다른 표현들이 언급한 공급업체를 하나도 언급하지 않았습니다. 평균을 내기 전에 표현별로 따로 보고하세요. 12개 중 12개와 12개 중 0개를 섞은 주제 점수는 어느 쪽도 설명하지 못합니다.

같은 엔진에 같은 질문을 두 번 하면 서로 다른 답변 두 개가 나올 수 있습니다. 답변 하나는 사실이 아니라 표본이고, 표본 몇 개는 오해를 낳을 수 있습니다. 나를 언급한 답변 하나의 95% 구간은 20.7%~100%이고, 언급하지 않은 답변 하나는 0%~79.3%입니다(답변 하나가 알려 주는 것이 적은 이유).

작은 표본에서 비율을 정직하게 보고하는 방법은 구간을 함께 쓰는 것입니다. Tesla 사례에서 ChatGPT 답변은 25개 중 16개에서 Tesla 브랜드를 언급해 64%였지만, 95% Wilson 구간은 약 45%~80%입니다. Perplexity 답변의 25개 중 10개는 약 23%~59%입니다. 두 범위가 겹치므로, 이 차이만으로는 한 엔진이 Tesla 브랜드를 더 선호한다고 아직 증명할 수 없습니다. 답변이 많을수록 범위가 좁아집니다. 200개 중 60개는 약 24.1%~36.7%입니다. 변화는 노이즈보다 클 때만 의미가 있습니다. 이를 검증하는 방법은 6장에서, 범위 자체는 95% 구간의 의미에서 설명합니다.

전체 방법은 방법론 페이지에, 용어는 용어집에 있습니다.

개별 답변은 매일 바뀌지만, 고정된 질문 세트는 훨씬 덜 움직입니다. 4개 엔진에 매일 물은 구매자 질문 40개에서, 답변에 있던 이름 다섯 개 중 약 하나는 다음 날 사라졌고, 그 변화의 47%는 하루 뒤 되돌아갔습니다. 그런데도 하루의 비율은 그 주 평균과 중앙값 기준 3.6%p 이내였습니다(빈도 연구).

• 크고 고정된 질문 세트로 추세를 보고한다면: 보통 주간이면 충분합니다.
• 질문을 20개 이하로 추적한다면: 매일 실행해 한 주 평균을 내면 구간이 훨씬 좁아집니다.
• 방금 반영한 변경을 테스트한다면: 매일 측정해야 답변이 언제 움직였는지, 그 변화가 유지됐는지 알 수 있습니다.

장단점은 AI 가시성 일일 모니터링에서 더 자세히 다룹니다.