회원님을 언급한 확인 한 번은 실제 비율 20.7%와도 양립합니다
브랜드가 AI 검색에서의 위치를 알게 되는 가장 흔한 방식은 누군가 질문을 한 번 묻고, 답변을 읽고, 안도하거나 당황하는 것입니다. 그 답변 하나가 다음 회의에서 모두가 되풀이하는 수치가 됩니다.
있는 그대로 다루십시오. 한 번 물은 질문 하나에 예 또는 아니오의 결과는, 치우침을 모르는 동전에서 뽑은 크기 1의 표본입니다. Wilson 점수 구간은 그런 비율에 경계를 씌우는 표준 방법입니다. 95% 신뢰도로 시행 1회 중 성공 1회에 적용하면 20.7%~100%가 나옵니다.
쉽게 말해, 확인 한 번에서 회원님을 언급한 모델은 답변 다섯 개 중 하나에서만 회원님을 언급할 모델과 완전히 양립합니다. 스크린샷은 둘을 구분하지 못합니다. 회원님도 마찬가지입니다.
놓친 경우는 더 나쁩니다. 1회 중 0회는 0%~79.3%의 구간을 주며, 팀들은 바로 그것을 근거로 콘텐츠 계획을 예사로 다시 씁니다.
같은 Prompt가 다른 답을 돌려주는 이유는 그때 누가 함께 물었느냐입니다
엔진이 결정적이라면 문제가 되지 않을 것입니다. 그렇지 않으며, 이유는 무작위성에 대한 흔한 얼버무림보다 구체적입니다. OpenAI는 자체 API 안내에서 분명히 말합니다. Chat Completions는 기본적으로 비결정적이며, 모델 출력이 요청마다 다를 수 있다는 뜻입니다. 시드를 쓰면 같은 페이지가 대체로 결정적인 출력이라 부르는 것을 얻으며, OpenAI는 백엔드 변경이 발밑을 움직였을 때 알 수 있도록 시스템 지문을 노출합니다.
Thinking Machines Lab이 이를 측정했습니다. 2025년 9월 이 연구소는 Qwen3-235B-A22B-Instruct-2507에서 온도 0으로 완성 1,000개를 샘플링했습니다. 탐욕적 샘플링이므로 이론상 완벽히 반복되어야 하며, Prompt는 "Tell me about Richard Feynman"이었습니다. 고유한 완성이 80개 나왔고, 가장 흔한 것은 78번 나왔습니다. 1,000회 실행 모두 처음 102개 토큰까지 일치했고 103번째에서 갈렸습니다. 992개는 "Queens, New York"으로, 8개는 "New York City"로 이어졌습니다.
그들이 밝힌 원인은 GPU의 무작위성이 아닙니다. 커널은 실행 간에 결정적이지만 배치 불변이 아니므로, 요청은 어느 배치에 들어가느냐에 따라 약간 다른 연산을 거치며, 배치 크기는 서버 부하가 정합니다. 그들의 결론은 두 번 읽을 가치가 있습니다. 거의 모든 LLM 추론 엔드포인트가 비결정적인 주된 이유는 부하, 따라서 배치 크기가 비결정적으로 변하기 때문이라는 것입니다.
즉 회원님이 찍은 스크린샷의 답변은 그 순간 같은 엔드포인트에 얼마나 많은 낯선 사람이 질의했느냐에 부분적으로 달려 있습니다. 회원님 브랜드에 대한 신호가 아닙니다.
표본 20개로도 40포인트 범위가 남습니다
가시성 수치가 표본으로 추정한 비율임을 받아들이면, 다음 질문은 표본이 얼마나 커야 하느냐입니다. Wilson 구간이 답하며, 그 답은 겸손하게 만듭니다. 아래는 모두 모델이 60%의 경우 회원님을 언급한다고 가정합니다.
- 표본 5개, 언급 3회: 23.1%~88.2%. 65포인트 범위. 브랜드가 존재한다는 것은 압니다.
- 표본 20개, 언급 12회: 38.7%~78.1%. 39포인트 범위로, 척도의 대부분입니다.
- 표본 40개, 언급 24회: 44.6%~73.7%. 이제 보이지 않는다는 가능성은 배제할 수 있습니다.
- 표본 100개, 언급 60회: 50.2%~69.1%. 여전히 19포인트 폭입니다.
- 표본 366개: 구간이 처음으로 ±5포인트로 좁혀지는 지점입니다. ±3에 도달하려면 1,021개가 필요합니다.
AI 가시성 대시보드에 보고되는 움직임 대부분은 일어나지 않았습니다
여기서부터 산수가 돈이 되기 시작합니다. 첫 주에 Prompt 하나를 40번 샘플링해 언급 24회를 보고, 둘째 주에 40번 샘플링해 32회를 봅니다. 60%에서 80%로의 도약으로 읽히며, 금요일이면 슬라이드에 올라가 있을 것입니다.
두 구간은 44.6%~73.7%와 65.2%~89.5%입니다. 겹칩니다. 표본 40개에서 20포인트 변동은 아직 결과가 아니며, 회의실에 해야 할 올바른 말은 아무것도 확정되지 않았다는 것입니다. 몇 번 그렇게 하면 사람들이 잡음을 쫓는 것을 멈춥니다.
그래서 Proofsource 서비스는 점 추정치가 아니라 구간으로 알림을 거르며, 저희 리포트의 모든 가시성 백분율 옆에는 Wilson 구간이 붙습니다. 수치가 선을 넘을 때 울리는 알림은 이렇게 잡음 많은 시스템에서 끊임없이 울립니다. 구간이 분리될 때 울리는 알림은 무슨 일이 일어났을 때 울립니다.
같은 논리가 0에도 적용됩니다. 표본 20개에서 언급이 없으면 상한은 16.1%, 40개에서 없으면 8.8%입니다. 엔진이 회원님을 결코 언급하지 않는다고 주장하고 싶다면, 그 주장이 의미를 갖기 시작하는 것은 대략 표본 40개부터입니다.
배운 구간이 아니라 Wilson 구간을 쓰십시오
기술적인 주석 하나입니다. 뻔한 대안이 바로 여기서 중요한 경우에 실패하기 때문입니다. 대부분이 배운 구간은 단순 정규 근사로 만든 Wald 구간입니다. 시행 1회 중 성공 1회에는 100%~100%를, 0회에는 0%~0%를 보고합니다. 확인 한 번이 확실하다고 말하는 것이며, 저희가 고치려는 바로 그 오류입니다.
이는 잘 기록되어 있습니다. Statistical Science에 실린 Brown, Cai, DasGupta의 리뷰는 Wald 구간의 불규칙한 포함 확률이 생각보다 훨씬 끈질기며, 언제 안전한지에 대한 흔한 교과서 처방은 오해를 부르고 결함이 있어 믿을 수 없다고 밝히고, 작은 표본에는 Wilson을 권합니다. 답변 엔진 샘플링은 작은 표본입니다. 추적하는 Prompt마다 자기 개수를 갖기 때문입니다.
월요일에 할 일
이 중 무엇도 구매가 필요하지 않습니다. 적는 것을 바꾸면 됩니다.
- 확인 한 번을 보고하지 마십시오. 스크린샷이 증거라면, 발견은 브랜드가 나올 수 있다는 것이며 그 이상은 아닙니다.
- 데이터를 보기 전에 표본 크기를 정하고, 매 기간 같게 유지하십시오. 측정 사이에 n을 바꾸면 둘 다 정직해도 두 수치를 비교할 수 없게 됩니다.
- 점이 아니라 구간을 보고하십시오. 범위 45~74와 함께 60%라고 적힌 행은 그냥 60%라고 적힌 행보다 과대 해석하기 어렵습니다.
- 알림 임계값을 구간 분리에 두고, 표본을 여러 날에 나누십시오. 겹치는 구간 두 개는 중간값이 아무리 달라 보여도 변화가 아닙니다.
이 분석이 틀릴 수 있는 부분
위의 Wilson 수치는 명시된 입력에 대한 정확한 계산이므로 숫자 자체는 의심할 여지가 없습니다. 의심할 것은 그 밑의 모델링 가정입니다. Wilson 구간은 성공 확률이 고정된 독립 시행을 가정하며, 실제 엔진에 대한 반복 질의는 깔끔하게 독립적이지 않습니다. 개인화, 캐싱, 세션 맥락, 주중에 배포되는 모델 버전 모두 그 가정을 깹니다. 이 구간은 불확실성의 전부가 아니라 바닥으로 다루십시오.
Thinking Machines 실험은 ChatGPT, Gemini, Perplexity가 아니라 연구소 자체 스택에서 자체 호스팅한 오픈 웨이트 모델로 실행되었습니다. 메커니즘을 입증할 뿐 어떤 상용 제품의 분산도 입증하지 않으며, 그 공급사 중 누구도 자기 분산을 공개하지 않습니다.
표본 크기 표의 60%는 예시입니다. 구간은 중간 근처에서 가장 넓으므로 보수적인 경우라서 골랐습니다. 5%나 95%에 있는 브랜드는 같은 절대 정밀도에 더 적은 표본이 필요합니다.
저희가 변호할 것은 오류의 방향입니다. 작은 표본, 한 번의 확인, 구간 없는 점 추정치는 모두 같은 쪽으로 밀어붙입니다. 측정하지 않았는데 무언가를 측정했다고 믿는 쪽입니다.
