이미 화면에 있는 두 숫자로 무엇을 할지는 아무도 알려 주지 않습니다
AI 가시성 수치가 움직였습니다. 지난주 실행에서는 Prompts의 42%가 회원님을 언급했고, 이번 주에는 30%입니다. 12포인트입니다. 무엇이 고장 났는지 찾아 나서기 전에, 더 작은 질문이 가로막습니다. 실제로 무슨 일이 일어났습니까?
공개된 조언은 빈약하고, 모두 다음 측정에 관한 것입니다. 표본을 더 돌려라. 매일 대신 매주 추적하라. Prompt 세트를 고정하라. 타당하지만, 이미 가진 두 수치에는 도움이 되지 않습니다. 그래서 대부분은 대시보드가 쉽게 해 주는 것에 기대어 오차 막대가 겹치는지 확인합니다. 그것은 틀린 검정이며, 거의 아무도 예상하지 못하는 방향으로 틀립니다.
아무것도 바뀌지 않았을 때 95% 구간 두 개는 99% 이상 겹칩니다
Mark Payton, Matthew Greenstone, Nathaniel Schenker는 2003년 Journal of Insect Science에서 이를 계산했습니다. 정말로 동일한 모집단에서 표본 두 개를 뽑고 각각에 95% 신뢰구간을 씌웁니다. 그 구간은 얼마나 자주 겹칠까요? 대표본 계산으로는 99% 이상이고, n=10에서 10,000쌍을 시뮬레이션한 결과는 0.995였습니다.
즉 95% 구간이 겹치는지 확인하는 것은 5% 검정이 아닙니다. 1% 검정에 가깝습니다. 차이가 실제일 때조차 거의 실제라고 판정하지 못합니다.
같은 논문은 반대 경우도 다룹니다. 일반 표준오차 막대는 아무 일도 없을 때 84.3% 겹치므로, 그것을 눈으로 보는 것은 거짓 경보율이 15%에 가까운 검정입니다. 여섯 번에 한 번은 존재하지 않는 원인을 찾아 나서게 됩니다.
보정법도 제시합니다. 표준오차가 대략 같을 때 겹침 확인이 5% 검정처럼 작동하려면 구간 폭이 약 83%~84%여야 합니다. n=10에서 84% 구간은 94.9% 겹쳤고, 그것이 원하던 5%입니다.
하락 하나, 판정 셋, 그리고 업계는 가장 조용한 것을 씁니다
42%에서 30%로의 변화에 실제 계산을 적용해 보겠습니다. 엔진 하나에 Prompts 200개이고, 첫 실행에서 84개, 두 번째에서 60개가 회원님을 언급했다고 합시다.
- 95% Wilson 구간: 42%는 35.4%~48.9%, 30%는 24.1%~36.7%입니다. 약 1포인트 겹칩니다. 판정: 볼 것 없음.
- 같은 두 수치에 대한 표준 두 비율 검정: z = 2.50, p = 0.012. 판정: 실제.
- 위 보정에 따른 84% Wilson 구간: 37.2%~47.0% 대 25.7%~34.7%. 깔끔하게 떨어져 있습니다. 판정: 실제이며, 이제 검정과 일치합니다. 그것이 보정의 목적입니다.
같은 Prompts를 두 번 실행하면 대응 측정이며, 검정력은 대응에서 나옵니다
세 판정 모두의 밑에 더 큰 실수가 있습니다. 두 비율 검정은 두 실행을 독립 표본으로 취급합니다. 그렇지 않습니다. 같은 엔진에서 같은 Prompts 200개를 다시 실행하면 모든 Prompt가 두 번 측정되었으므로, 비교는 Prompt별로 해야 합니다.
대부분의 Prompts는 움직이지 않았을 것이며, 두 번 다 회원님을 언급했거나 두 번 다 언급하지 않은 것은 변화에 대해 아무것도 말해 주지 않습니다. 정보는 전부 뒤집힌 Prompts에 있습니다.
Prompts 30개가 회원님을 뺐고 6개가 새로 넣었다고 합시다. 순감소는 똑같이 24개, 똑같이 12포인트입니다. 대응 이진 데이터의 표준 검정인 McNemar 검정을 이 뒤집힘 36개에 적용하면 자유도 1에서 카이제곱 16.0이므로 p는 약 0.00006입니다. 같은 데이터에 독립 검정은 0.012라고 했습니다. 대응은 Prompts끼리 서로 다른 데서 오는 분산을 버리고, 실제로 물은 분산만 남겼습니다.
실행 사이에 Prompt 세트를 바꾸면 이 이점을 잃으며, 어떤 통계도 되돌려 주지 않습니다. 세트를 고정하고, 새 Prompts는 별도 시리즈로 시작하십시오.
저희 알림도 보수적인 기준을 쓰며, 그 대가는 이렇습니다
저희 알림 규칙에는 두 조건이 필요합니다. 이전 점수와 새 점수의 Wilson 구간이 겹치지 않아야 하고, 변화가 회원님이 정한 방향으로 정한 임계값을 넘어야 합니다. 구간 확인이 먼저 실행되므로, 막대가 닿아 있으면 임계값이 무엇이든 알림은 울리지 않습니다.
보수적인 기준이며 의도적으로 골랐습니다. 아무도 믿지 않는 알림은 알림이 없는 것보다 나쁩니다. 하지만 위 수치로 보면 대략 1% 검정이므로, 예시의 12포인트 하락은 조용히 지나갑니다. 실제 비용이며, 회원님이 발견하게 두느니 저희가 먼저 적어 둡니다.
계산 밑에는 더 중요한 바닥이 있습니다. 아무도 손대지 않은 사이트에 동일한 Prompt 세트를 다시 실행해도 수치는 움직입니다. 엔진이 자신을 반복하지 않기 때문입니다. OpenAI 자체 문서가 대놓고 말합니다. 채팅 완성은 기본적으로 비결정적이며, 시드를 정해도 시스템은 결정적으로 샘플링하도록 최선을 다할 뿐 결정성은 보장되지 않는다고 합니다. 저희 자체 샘플링 전반에서 언급된 집합의 9~27%가 하루 사이에 바뀌는 것을 봤고, 어디에 떨어지는지는 엔진에 따라 다릅니다. 아무도 아무것도 게시하지 않은 상태에서입니다.
그래서 Proofsource 서비스는 테스트-재테스트 리포트를 실행합니다. 바뀌지 않은 사이트에 같은 고정 Prompts를 같은 엔진으로 하루 두 번 묻습니다. 그 위에 임계값을 정하기 전에 회원님 자신의 잡음 크기를 알려 줍니다. 이를 건너뛰면 임계값은 추측입니다.
이 분석이 틀릴 수 있는 부분
Payton과 동료들은 정규 모집단의 평균에 대해, 표준오차가 같고 표본이 크다는 가정으로 결과를 도출했습니다. 가시성은 비율이며, Wilson 구간은 0%와 100% 근처에서 비대칭이 됩니다. 95% 겹침이 5% 검정으로는 지나치게 보수적이라는 방향은 그대로 옮겨지지만, 83~84%는 저희 경우에 대한 증명이 아니라 경험칙으로 다루십시오. 양 끝 근처에서는 검정 자체를 실행하십시오.
예시는 측정이 아니라 계산입니다. Prompts 200개, 84와 60, 뒤집힘 30 대 6은 일관되면서 차이를 보여 주도록 저희가 고른 수치입니다. 회원님의 것은 다를 것이며, 볼 것은 그 분할입니다.
통계적 유의성과 "회원님이 이것을 일으켰다"는 별개의 주장이며, 여기서 다루는 것은 앞의 것뿐입니다. 표본 잡음 대비 p 0.00006은 두 실행 사이에 엔진의 행동이 바뀌었다는 뜻입니다. 왜인지는 아무것도 말하지 않습니다. 저희가 측정한 정도의 변동이 있다면, 유의한 변화도 엔진이 스스로 흔들린 결과일 수 있습니다.
9~27%라는 수치는 저희 것입니다. 저희가 샘플링하는 엔진 전반에서 본 것이지 공개된 상수가 아니며, 회원님 자신의 측정을 대신하지 못합니다.
