AI 답변 변동성이란?
AI 답변 변동성은 같은 질문을 다시 묻거나 다른 표현으로 물을 때 AI 엔진이 언급하는 브랜드가 얼마나 바뀌는지를 말합니다. AI 답변은 계속 바뀝니다. 오늘 언급된 브랜드가 내일은 사라졌다가 모레 다시 나타날 수 있습니다. 변동성은 그 변화의 크기이며, 이를 알아야 대응하기 전에 진짜 변화와 노이즈를 구별할 수 있습니다.
AI 답변은 하루하루 얼마나 바뀌나요?
저희 추적에서는 답변 속 이름 다섯 개 중 약 하나가 하룻밤 사이에 빠졌고, 변화의 절반은 하루 뒤에 원래대로 돌아갔습니다.
2026년 10월에 7~9일 동안 두 브랜드 설정으로 같은 구매자 질문 40개를 네 엔진에 매일 물었습니다. 추적 중인 이름이 어느 날의 답변에 있었던 2,127건 중 486건, 즉 22.8%에서 다음 날 그 이름이 사라졌습니다. 추적할 수 있었던 변화 중 47.2%는 그다음 날 되돌아갔습니다. 그런데도 주간 평균은 거의 움직이지 않았습니다. 하루 비율은 그 주 평균과 중앙값 3.6포인트 차이였습니다(글).
질문 표현을 바꾸면 다시 묻는 것보다 답변이 더 많이 움직이나요?
그렇습니다. 답변 13,994건에서, 한 표현으로 물었을 때 언급된 브랜드는 같은 표현으로 다시 물었을 때 77.5%의 확률로 다시 언급되었지만, 같은 구매 결정을 다른 표현으로 물었을 때는 55.1%에 그쳤습니다(글).
그 일부는 질문의 형태 때문입니다. "A vs B" 같은 맞대결 질문은 답변의 2.9%에서만 제3의 브랜드를 언급했지만, "최고"를 묻는 질문이나 가격, 팀 규모 조건이 붙은 질문은 훨씬 자주 언급했습니다. 변동성의 일부는 엔진에서, 일부는 내가 고른 단어에서 나옵니다.
실제 예시에서 변동성은 어떻게 보이나요?
공개된 Tesla 예시(2026년 10월 4일, 10월 8일과 15일에 다시 질문)의 전력망 저장 장치 주제는 표현만으로 답변이 얼마나 움직이는지 보여 줍니다. 각 표현은 네 엔진에 걸쳐 새 답변 12건을 받았습니다.
- "What are the best grid-scale battery storage systems for a utility company?": Tesla 언급 12건 중 12건.
- 특정 경쟁사를 대신할 유틸리티 규모 저장 장치 추천: 12건 중 12건.
- 대형 시설의 피크 저감 질문: 12건 중 7건, Claude 답변에서는 0건.
- MWh당 비용 질문과 턴키 공급업체 비교 질문: 각각 12건 중 0건, 공급업체를 하나도 언급하지 않음.
엔진들은 함께 바뀌나요?
아닙니다. 저희 샘플의 질문-일 185건에서, 네 엔진 중 하나가 어떤 질문에 브랜드를 언급했을 때 네 엔진 모두가 언급한 경우는 32.4%뿐이었습니다. 세 엔진의 평균 비율이 거의 같았는데도 그렇습니다(글).
각 엔진은 같은 날 다른 엔진과 일치하는 것보다 하루 뒤의 자기 자신과 더 많이 일치했습니다. 그래서 변동성은 엔진별로 읽어야 합니다. 합산된 수치는 한 엔진이 나를 빼고 다른 엔진이 나를 넣는 동안에도 평평하게 유지될 수 있습니다.
AI 답변의 변화에는 어떻게 대응해야 하나요?
답변 하나가 뒤집힌 것은 결과가 아니라 한 번의 추출로 보세요. 변화가 2~3일 유지되거나 두 측정값의 구간이 갈라질 때 대응하고, 같은 엔진에서 같은 질문을 비교하세요.
Proofsource 알림도 이 규칙을 따릅니다. 알림은 이전과 새 Wilson 구간이 겹치지 않고 변화가 임계값을 넘을 때만 울립니다. 알림과 일일 AI 가시성 모니터링을 확인하세요.
AI 답변 변동성에 대해 자주 묻는 질문
ChatGPT 답변이 왜 하룻밤 사이에 우리를 추천하지 않게 됐나요?
노이즈일 가능성이 가장 큽니다. 저희 추적에서는 답변 속 이름의 약 23%가 다음 날 사라졌고, 그 변화의 절반 가까이가 하루 뒤 되돌아갔습니다. 무엇이든 다시 쓰기 전에 변화가 유지되는지 기다리세요.
변동성은 모든 엔진에서 같나요?
아닙니다. 엔진마다 검색 빈도, 읽는 출처의 수, 답변의 반복 정도가 다릅니다. 변동성은 내 질문으로 엔진별로 측정하세요.
내 수치의 변동성은 어떻게 줄이나요?
엔진은 바꿀 수 없지만 측정은 바꿀 수 있습니다. 고정된 질문 세트, 결정마다 여러 표현, 서로 다른 날의 반복, 그리고 모든 수치에 구간을 두세요.
변동성이 크면 AI 가시성은 측정할 수 없다는 뜻인가요?
아닙니다. 개별 답변은 계속 바뀌지만, 고정된 질문 세트는 훨씬 덜 움직입니다. 대부분의 답변은 그대로이고 변화는 서로 상쇄되기 때문입니다. 답변이 아니라 세트를 측정하세요.
관련 용어
- AI 답변 샘플링
AI 답변 샘플링은 각 AI 엔진에 같은 질문을 여러 번 던지고, 모든 가시성 수치를 확정된 사실이 아닌 그 샘플에서 나온 추정치로 읽는 방식입니다.
- Wilson 구간
Wilson 구간은 측정된 비율이 몇 건의 답변에 근거했는지를 고려할 때, 그 비율이 합리적으로 놓일 수 있는 범위입니다.
- Prompt
AI 가시성에서 Prompt는 구매자가 물을 법한 표현으로 작성해 여러 AI 엔진에서 추적하는 질문입니다.
- 언급률
언급률은 어떤 질문에 대한 AI 답변 중 내 브랜드를 언급한 답변의 비율입니다.
실전 예시: Tesla, 공개 AI 답변, 2026년 10월 4일: Proofsource가 Tesla를 대상으로 한 첫 스캔으로, 구매자 질문 25개와 브랜드 질문 5개를 네 엔진에 각각 한 번씩 물었습니다. 한 브랜드의 작은 표본이며, 벤치마크가 아니라 예시로 보여 드립니다.
