답변 하나가 우리를 언급했습니다
이번 주1개 중 1개
100%
가시성: 100%. 이 질문은 회원님 것입니다.
수치 하나는 흔들립니다. 95% 구간이 진짜 변화를 보여 줍니다.
AI에게 같은 질문을 두 번 하면 다른 숫자가 나옵니다. Proofsource 지표에는 모두 범위가 붙어 있어, 실제 변화와 운을 구별할 수 있습니다.
답변 200개. 25 Prompts/질문. 주요 AI 엔진. 2일. 무료. 카드 불필요.
실제 비율은 이 안 어딘가에 있습니다95% 구간
43%~62%
0%50%100%
그 띠가 95% 구간입니다. 숫자 하나는 흔들립니다. 띠가 무엇이 진짜인지 알려 줍니다.
같은 데이터, 두 개의 리포트. 어느 쪽을 보고 움직이겠습니까?
범위 없는 수치는 정확히 맞으면서도 나를 잘못된 방향으로 보낼 수 있습니다. 두 가지 해석을 바꿔 가며 보세요.
하락이 아니었던 하락
지난주10개 중 4개
40%
이번 주10개 중 2개
20%
가시성이 40%에서 20%로 절반이 되었습니다. 뭔가 고장 났습니다.
너무 촘촘한 순위표
내 브랜드10개 중 6개
60%
경쟁사10개 중 4개
40%
60% 대 40%로 앞서고 있습니다.
진짜 성과
개선 전200개 중 60개
30%
개선 후200개 중 100개
50%
가시성이 30%에서 50%로 올랐습니다.
위의 헤드라인은 모두 산술적으로는 맞지만, 넷 중 셋은 회원님을 엉뚱한 방향으로 이끌 것입니다. 전환해서 이유를 확인해 보세요.
믿을 수 있는 작은 수치가 진짜가 아닌 큰 수치보다 낫습니다. 범위가 있는 이유는 바로 그것입니다.
한 줄 답변
답변 100개 중 53개가 Tesla를 언급했으므로 언급률은 53%이고, 95% 구간은 43%~62%입니다. 같은 구매자 질문을 다시 물으면 53%은(는) 매번 조금씩 다르게 나옵니다. 구간이란, 끝없이 물을 수 있다면 나올 비율을 20번 중 19번은 포함하도록 그린 범위입니다.
점은 측정한 비율 53.0%입니다. 막대는 95% 구간 43.3%~62.5%입니다. 이렇게 읽으면 됩니다. 이 질문들에 대한 답변 중 Tesla가 언급된 비율은 대략 43%에서 62% 사이이며, 53% 근처일 가능성이 가장 큽니다.
모니터링 방법: 같은 질문을 계속 반복해서 묻기
이 리포트들 사이에서 바뀐 것은 없습니다. 실제 비율은 고정되어 있습니다. 어떤 답변이 돌아오는지만 우연에 따라 바뀝니다. 버튼을 눌러 각 리포트가 어디에 떨어지는지 확인하세요.
실제 비율(끝없이 물었을 때 얻게 될 값)
리포트당 답변
리포트 10개, 각각 답변 25개 기준. 아무것도 바뀌지 않았는데도 대표 수치는 24.0%에서 52.0%까지 움직였습니다. 실제 비율은 40% 그대로였습니다.
구간 10개 중 10개(100%)가 점선으로 표시된 실제 비율을 포함합니다. 계속 물으면 이 설정에서는 93.6%에 수렴해 20번 중 19번에 가까워집니다. 답변이 정수 단위로 나오기 때문에 정확한 수치는 95% 언저리에서 조금씩 움직입니다. 아직 누락이 없습니다. 계속 물어보면 가끔 주황색 하나가 나타납니다.
내 숫자로 시험해 보기
제품이 모든 숫자에 적용하는 것과 같은 계산: 95% Wilson 점수 구간.
53.0% 언급률
95% 구간: 43.3%에서 62.5%, 위아래로 약 9.6포인트.
답변 수를 늘리고 범위가 좁아지는 것을 확인하세요. 답변이 네 배면 폭은 대략 절반입니다.
AI 답변에 범위가 필요한 이유
AI 엔진은 같은 답을 두 번 하지 않습니다. 같은 질문을 내일 묻거나 조금 다르게 표현하면 언급되는 브랜드가 바뀝니다.
자체 추적 결과, AI 답변의 일별 변화 중 47%가 다음 날 되돌아갔습니다(구매자 질문 40개, 엔진 4개, 최대 9일). 질문의 한 표현에서 언급된 브랜드가 다르게 표현된 질문에서도 언급된 비율은 55%에 그쳤습니다(답변 13,994개).
그래서 답변 하나, 하루치 결과는 움직이는 대상에서 한 번 뽑은 표본일 뿐입니다. 구간은 여러 번의 표본을 정직한 진술로 바꿔 줍니다. 비율과, 그 비율을 얼마나 확신할 수 있는지입니다.
답변이 많을수록 범위는 좁아집니다
폭은 주로 그 숫자 뒤에 있는 답변 수에 따라 달라집니다. 곡선을 따라 드래그해 보세요.
| 답변 | 언급됨(30%) | 95% Wilson 구간 | 오차 범위 |
|---|---|---|---|
| 10 | 10개 중 3개 | 10.8%~60.3% | 약 24.8포인트 |
| 25 | 25개 중 8개 | 17.2%~51.6% | 약 17.2포인트 |
| 50 | 50개 중 15개 | 19.1%~43.8% | 약 12.3포인트 |
| 100 | 100개 중 30개 | 21.9%~39.6% | 약 8.8포인트 |
| 200 | 200개 중 60개 | 24.1%~36.7% | 약 6.3포인트 |
| 400 | 400개 중 120개 | 25.7%~34.7% | 약 4.5포인트 |
| 1,000 | 1,000개 중 300개 | 27.2%~32.9% | 약 2.8포인트 |
진짜 변화인가요, 노이즈인가요?
매주 리포트마다 나오는 질문입니다. 세 가지 규칙으로 정리됩니다.
- 범위가 겹치지 않습니다: 진짜 변화입니다. 실행하세요.
- 범위가 겹칩니다: 그렇다고 아무것도 바뀌지 않았다는 증거는 아닙니다. 똑같은 표본에서 나온 두 95% 범위는 99% 이상 겹치므로, 겹침은 매우 엄격한 기준입니다(오차 막대가 겹치는지가 기준이 아닌 이유). 대신 언급됨에서 언급 안 됨으로, 또는 그 반대로 뒤집힌 질문을 비교하세요.
- 저희 알림은 일부러 엄격하게 설계했습니다: 범위가 분리되고 변화가 설정한 기준을 넘을 때만 울리므로, 받은 알림은 믿어도 됩니다.
Wilson 구간이란
저희가 보여 주는 모든 범위의 바탕이 되는 방법으로, 통계학자 Edwin B. Wilson이 1927년에 발표했으며, 많지 않은 예/아니오 결과에서 비율을 구할 때 통계 문헌이 권장하는 방법입니다.
AI 답변은 회원님의 브랜드를 언급하거나 언급하지 않거나 둘 중 하나이므로, 언급률은 예/아니요 결과의 비율, 즉 통계학에서 말하는 이항 비율입니다. Wilson 방법은 이 비율 주변의 범위를 두 단계로 그립니다. 먼저 중심을 50% 쪽으로 약간 옮기고(답변이 적을수록 더 많이), 그다음 그 중심을 기준으로 비율과 답변 수에 따라 폭이 정해지는 범위를 그립니다. p를 회원님을 언급한 답변의 비율, n을 답변 수, 95% 기준 z = 1.96이라고 할 때:
centre = (p + z^2/(2n)) / (1 + z^2/n) half-width = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) ) 95% range = centre - half-width to centre + half-width
대부분의 교과서에 나오는 더 단순한 공식, 즉 비율에 표준오차 1.96배를 더하고 빼는 방법(Wald 구간)은 AI 가시성이 놓인 바로 그곳, 작은 표본과 0%나 100%에 가까운 비율에서 무너집니다. 같은 답변을 두 방식으로 계산하면 다음과 같습니다:
| 답변 | 비율 | Simple plus-or-minus | Wilson 95% |
|---|---|---|---|
| 53 of 100 | 53.0% | 43.2% to 62.8% | 43.3% to 62.5% |
| 2 of 25 | 8.0% | -2.6% to 18.6%, 0 미만 | 2.2% to 25.0% |
| 0 of 25 | 0.0% | 0.0% to 0.0%, 범위 전혀 없음 | 0.0% to 13.3% |
| 25 of 25 | 100.0% | 100.0% to 100.0%, 범위 전혀 없음 | 86.7% to 100.0% |
그래서 Brown, Cai, DasGupta가 Statistical Science(2001)에서 일반적인 방법을 검토하며 표본 40개 이하에는 Wilson을 권장했고, Agresti와 Coull(1998)은 교과서 공식보다 실제 비율을 더 안정적으로 포함한다는 것을 확인했으며, Newcombe가 Statistics in Medicine(1998)에서 일곱 가지 방법을 비교하며 이를 선호했습니다. 대시보드, 리포트, 내보내기, API 모두 같은 Wilson 구간을 계산하므로 어디서 읽든 숫자의 의미가 같습니다. 계산 예시는 Wilson 구간이란?에도 있고, 저희가 계산하는 모든 숫자는 방법론에 설명되어 있습니다.
참고 자료
방법의 바탕이 된 논문으로, 계산을 직접 확인할 수 있습니다.
- Journal of the American Statistical Association1927
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212.
원 논문: 저희 범위가 사용하는 비율의 점수 구간.
doi.org에서 열기 - Statistical Science2001
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101-133.
방법들에 대한 표준 리뷰. 교과서식 플러스마이너스 구간이 잘못 작동함을 보이고, 작은 표본에는 Wilson을 권장합니다.
doi.org에서 열기 - The American Statistician1998
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119-126.
윌슨(스코어) 구간이 교과서 공식보다 실제 비율을 더 안정적으로 포함한다는 결과입니다.
doi.org에서 열기 - Statistics in Medicine1998
Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine, 17(8), 857-872.
같은 사례에 7가지 방법을 비교해 윌슨 점수 구간을 권장합니다.
doi.org에서 열기 - NIST e-Handbook of Statistical MethodsNIST
NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1: Confidence intervals for a proportion.
미국 국립표준기술연구소(NIST) 핸드북은 Wilson 방법을 소개하면서 Brown, Cai, DasGupta와 Agresti, Coull이 권장한다고 밝힙니다.
itl.nist.gov에서 열기무료로 읽기 - Journal of Insect Science, on PubMed Central2003
Payton, M. E., Greenstone, M. H., & Schenker, N. (2003). Overlapping confidence intervals or standard error intervals: what do they mean in terms of statistical significance? Journal of Insect Science, 3(1), 34.
겹치는 95% 범위 두 개가 변화 없음을 뜻하지 않는 이유: 겹침은 5%가 아니라 약 1% 수준의 검정처럼 동작합니다.
pmc.ncbi.nlm.nih.gov에서 열기무료로 읽기 - Psychometrika1947
McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157.
같은 질문을 두 번 물었을 때, 결과가 뒤집힌 질문을 기준으로 비교하는 검정.
doi.org에서 열기 - Evan MillerEssay
Miller, E. How not to sort by average rating.
예/아니요 투표 비율로 항목의 순위를 매길 때 Wilson 구간을 쓰자고 쉬운 말로 설명한, 널리 읽힌 글.
evanmiller.org에서 열기무료로 읽기
95% 구간에 대해 자주 묻는 질문
95%는 우리 수치가 맞을 확률이 95%라는 뜻인가요?
정확히는 아닙니다. 범위를 그린 방법이 20번 중 19번은 실제 비율을 포함한다는 뜻입니다. 범위 하나는 실제 비율을 포함하거나 포함하지 않거나 둘 중 하나이며, 95%는 많은 측정에 걸쳐 그 방법이 맞는 빈도입니다.
그냥 퍼센트만 보여 주면 안 되나요?
AI 답변 몇 개로 낸 비율은 우연만으로도 크게 움직일 수 있기 때문입니다. 범위가 없으면 53%에서 45%로의 하락이 뉴스처럼 보이지만, 실제로는 노이즈일 수 있습니다. 범위는 숫자가 의미를 갖기 전에 얼마나 흔들릴 수 있는지 알려 줍니다.
0%와 100% 근처에서 범위가 한쪽으로 치우치는 이유는?
비율은 0% 아래나 100% 위로 갈 수 없으므로, Wilson 방법은 범위를 경계에서 멀어지게 휘게 합니다. 답변 25개 중 2개는 약 2%에서 25%이며, 0 아래로 내려가는 대칭 범위인 8% ± 11%가 아닙니다.
구간을 더 좁히려면 어떻게 해야 하나요?
답변을 더 모으세요: 구매자 질문을 늘리거나, 엔진을 늘리거나, 추적 기간을 늘리면 됩니다. 폭은 답변 수의 제곱근에 비례해 줄어들기 때문에, 답변이 네 배가 되면 대략 절반이 됩니다.
이 범위가 틀릴 수 있는 모든 요인을 다 반영하나요?
아니요. 이는 어떤 답변을 우연히 받았는지에 따른 운만 다룹니다. 어떤 질문을 했는지, 날마다 바뀌는 엔진, 우리가 잘못 판단한 답변은 다루지 않습니다. 이런 부분은 구매자가 실제로 묻는 질문을 고르고, 일정에 따라 다시 묻고, 직접 확인할 수 있도록 답변을 보관하는 방식으로 다룹니다.
막대 두 개가 겹칩니다. 아무것도 변하지 않은 건가요?
꼭 그렇지는 않습니다. 동일한 샘플에서 나온 두 95% 범위는 99% 이상 겹치므로, 겹침 여부는 실제 변화를 놓치는 매우 엄격한 기준입니다. 막대가 닿지 않으면 변화는 진짜입니다. 닿는다면 답변이 바뀐 질문을 대신 비교하세요.
