Wilson 구간이란?
Wilson 구간은 측정된 비율이 몇 건의 답변에 근거했는지를 고려할 때, 그 비율이 합리적으로 놓일 수 있는 범위입니다. 답변 20건 중 6건에서 언급되면 30%이고, 95% Wilson 구간은 약 14.5%~51.9%입니다. 200건 중 60건도 30%이지만, 구간은 약 24.1%~36.7%로 좁아집니다. 같은 수치라도 확실성은 크게 다르며, 그 차이를 알려 주는 것이 구간입니다.
Wilson 구간은 어떻게 계산하나요?
Wilson 구간은 성공 횟수, 시행 횟수, z 값(95%일 때 1.96)으로 계산하며, 구간의 중심은 관측된 비율에서 50% 쪽으로 당겨지고, 샘플이 작을수록 더 강하게 당겨집니다. E. B. Wilson이 1927년에 제안했습니다(참고 자료, 2026년 10월 15일 확인).
p를 관측된 비율, n을 답변 수, z = 1.96이라고 하면:
중심 = (p + z^2/(2n)) / (1 + z^2/n)
반폭 = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) )
20건 중 6건: p = 0.30, n = 20 → 14.5%~51.9%
200건 중 60건: p = 0.30, n = 200 → 24.1%~36.7%왜 플러스마이너스 구간 대신 Wilson 구간을 쓰나요?
교과서에 나오는 구간인 Wald 구간은 AI 가시성에서 바로 생기는 상황, 즉 작은 샘플과 0%나 100%에 가까운 비율에서 무너지기 때문입니다. 시행 1회에서 성공 1회라면 Wald 구간은 100%~100%라고 보고합니다. 마치 한 번의 확인이 확실하다는 듯이요.
Brown, Cai, DasGupta가 Statistical Science(2001)에 발표한 리뷰는 Wald 구간의 포함 확률이 들쭉날쭉하다는 점을 확인하고, 작은 샘플에는 Wilson 구간을 권했습니다(논문). 추적하는 질문마다 건수가 작기 때문에, 이 선택은 리포트의 모든 행에 영향을 줍니다.
실제 예시에서 Wilson 구간은 어떻게 보이나요?
공개된 Tesla 예시(2026년 10월 4일)에서 ChatGPT 답변은 구매자 질문 25개 중 16개에서 Tesla 브랜드를 언급했습니다. 64%이며, 95% Wilson 구간은 약 45%~80%입니다. Perplexity 답변은 25개 중 10개에서 언급했습니다. 40%이며, 약 23%~59%입니다.
24포인트 차이는 결정적으로 보입니다. 하지만 구간이 겹치므로, 각각 답변 25건 기준으로는 지켜볼 만한 우위일 뿐 한 엔진이 Tesla 브랜드를 선호한다는 증거가 아닙니다. 네 엔진 전체로는 답변 100건 중 53건, 53%이며 구간은 훨씬 좁은 43%~62%입니다. 답변이 네 배면 폭은 대략 절반입니다.
구간이 겹치면 아무것도 변하지 않았다는 뜻인가요?
아닙니다. 가장 흔한 오독입니다. Payton, Greenstone, Schenker는 동일한 모집단에서 나온 두 95% 구간이 99% 이상의 확률로 겹친다는 것을 보였습니다. 따라서 겹침 확인은 5% 검정이 아니라 1% 검정처럼 작동하며, 5% 검정에 해당하는 것은 약 83%~84% 구간입니다(Journal of Insect Science, 2003).
질문 200개로 계산한 예시에서 42%에서 30%로의 하락은 95% 구간이 겹치지만, 표준적인 두 비율 검정에서는 p = 0.012가 나옵니다(글). 겹침은 보수적인 경보로 쓰고, 변화가 진짜인지 노이즈인지 판단하기 전에는 제대로 된 검정을 하세요.
Wilson 구간에 대해 자주 묻는 질문
95% Wilson 구간은 무엇을 뜻하나요?
같은 샘플링을 여러 번 반복하면, 이렇게 만든 구간의 약 95%가 실제 비율을 포함한다는 뜻입니다. 실무에서는 읽은 답변 수를 감안할 때 실제 언급률이 그럴듯하게 놓일 수 있는 범위로 읽으세요.
구간을 좁히려면 답변이 몇 건 필요한가요?
실제 비율이 60% 근처라면, 약 366건이면 95% 구간이 플러스마이너스 5포인트, 약 1,021건이면 플러스마이너스 3포인트가 됩니다. 5%나 95% 근처의 비율은 같은 폭에 더 적은 건수로 충분합니다.
Wilson 구간은 오차 범위와 같은 건가요?
역할은 같지만 대칭이 아닙니다. 0%나 100% 근처에서는 가장자리보다 가운데 쪽으로 더 길게 뻗습니다. 플러스마이너스 숫자 하나로는 그 점이 가려집니다.
Wilson 구간이 모든 오차의 원인을 다루나요?
아닙니다. 답변이 서로 독립이고 나를 언급할 확률이 고정되어 있다고 가정합니다. 실제 엔진은 모델을 바꾸고, 답변을 캐시하고, 검색 표현을 바꾸므로, 구간은 불확실성의 전부가 아니라 하한으로 보세요.
관련 용어
- 언급률
언급률은 어떤 질문에 대한 AI 답변 중 내 브랜드를 언급한 답변의 비율입니다.
- AI 답변 샘플링
AI 답변 샘플링은 각 AI 엔진에 같은 질문을 여러 번 던지고, 모든 가시성 수치를 확정된 사실이 아닌 그 샘플에서 나온 추정치로 읽는 방식입니다.
- AI 답변 변동성
AI 답변 변동성은 같은 질문을 다시 묻거나 다른 표현으로 물을 때 AI 엔진이 언급하는 브랜드가 얼마나 바뀌는지를 말합니다.
- AI 가시성
AI 가시성은 사람들이 내 카테고리에 대해 물을 때 ChatGPT, Perplexity, Claude, Google AI Overviews 같은 AI 어시스턴트가 내 브랜드를 얼마나 자주 언급하는지를 말합니다.
실전 예시: Tesla, 공개 AI 답변, 2026년 10월 4일: Proofsource가 Tesla를 대상으로 한 첫 스캔으로, 구매자 질문 25개와 브랜드 질문 5개를 네 엔진에 각각 한 번씩 물었습니다. 한 브랜드의 작은 표본이며, 벤치마크가 아니라 예시로 보여 드립니다.
