Ninguém diz o que fazer com os dois números que já estão na sua tela
Seu número de visibilidade em IA se mexeu. A execução da semana passada dizia que 42% dos seus Prompts mencionavam você; a desta semana diz 30%. Doze pontos. Antes de sair procurando o que quebrou, há uma pergunta menor no caminho: alguma coisa aconteceu de fato?
Os conselhos publicados são escassos, e todos tratam da sua próxima medição. Rode mais amostras. Acompanhe por semana em vez de por dia. Mantenha o conjunto de Prompts fixo. Razoável, e nenhuma ajuda com as duas leituras que você já tem. Então a maioria das pessoas recorre ao que o painel facilita e verifica se as barras de erro se sobrepõem. É o teste errado, e errado na direção que quase ninguém espera.
Dois intervalos de 95% se sobrepõem em mais de 99% das vezes quando nada mudou
Mark Payton, Matthew Greenstone e Nathaniel Schenker calcularam isso no Journal of Insect Science em 2003. Pegue duas amostras de populações realmente idênticas e coloque um intervalo de confiança de 95% em cada uma. Com que frequência esses intervalos se sobrepõem? O cálculo deles para amostras grandes dá mais de 99%, e a simulação, 10.000 pares com n=10, chegou a 0,995.
Ou seja, verificar se intervalos de 95% se sobrepõem não é um teste de 5%. Está mais perto de um teste de 1%. Você quase nunca vai considerar uma diferença real, inclusive quando ela é.
O mesmo artigo analisa o caso oposto. Barras simples de erro padrão se sobrepõem em 84,3% das vezes quando nada está acontecendo, então olhar essas barras a olho é um teste com taxa de alarme falso perto de 15%. Uma vez em cada seis, você sai procurando uma causa que não existe.
Eles também dão a correção. Para uma verificação de sobreposição se comportar como um teste de 5%, com erros padrão mais ou menos iguais, os intervalos precisam ter cerca de 83% ou 84% de largura. Com n=10, os intervalos de 84% deles se sobrepuseram em 94,9% das vezes, que são os 5% que você queria.
Uma queda, três vereditos, e o mercado usa o mais silencioso
Coloque números reais nesse movimento de 42% para 30%. Digamos que sejam 200 Prompts contra um mecanismo, 84 mencionando você na primeira execução e 60 na segunda.
- Intervalos de Wilson de 95%: 42% fica entre 35,4% e 48,9%, e 30% fica entre 24,1% e 36,7%. Eles se sobrepõem em cerca de um ponto. Veredito: nada a ver.
- Um teste padrão de duas proporções nos mesmos dois números: z = 2,50, p = 0,012. Veredito: real.
- Intervalos de Wilson de 84%, segundo a correção acima: de 37,2% a 47,0% contra de 25,7% a 34,7%. Bem separados. Veredito: real, e agora concorda com o teste, que é o objetivo do ajuste.
Os mesmos Prompts rodados duas vezes são uma medição pareada, e é no pareamento que está o poder
Há um erro maior por baixo dos três. Um teste de duas proporções trata as execuções como amostras independentes. Elas não são. Rode de novo os mesmos 200 Prompts contra o mesmo mecanismo e cada Prompt foi medido duas vezes, então a comparação deve ser feita Prompt a Prompt.
A maioria dos Prompts não terá se mexido, e os que mencionaram você nas duas vezes ou em nenhuma não dizem nada sobre uma mudança. A informação está inteira nos Prompts que viraram.
Digamos que 30 Prompts deixaram de mencionar você e 6 passaram a mencionar. Mesmo saldo de 24 Prompts, mesmos 12 pontos. O teste de McNemar nessas 36 viradas, o teste padrão para dados binários pareados, dá um qui-quadrado de 16,0 com 1 grau de liberdade, então p fica em cerca de 0,00006. O teste independente nos mesmos dados dizia 0,012. O pareamento eliminou a variância que vem de os Prompts serem diferentes entre si e deixou a variância sobre a qual você de fato perguntou.
Mude seu conjunto de Prompts entre execuções e você abre mão disso, e nenhuma estatística devolve. Mantenha o conjunto fixo e comece Prompts novos como uma série própria.
Nossos alertas também usam o filtro conservador, e veja quanto isso custa para você
Nossas regras de alerta exigem duas coisas. Os intervalos de Wilson da pontuação antiga e da nova não podem se sobrepor, e o movimento precisa passar de um limite que você define, na direção que você escolheu. A verificação de intervalo roda primeiro, então, se as barras se tocam, nada dispara, diga o limite o que disser.
Esse é o filtro conservador, e o escolhemos de propósito. Um alerta em que ninguém confia é pior que nenhum alerta. Pelos números acima, porém, ele é um teste de cerca de 1%, então a queda de 12 pontos do exemplo passa em silêncio. É um custo real, e preferimos registrá-lo a deixar você descobrir.
Por baixo da conta há um piso que importa mais. Rode de novo um conjunto idêntico de Prompts contra um site que ninguém mexeu e o número ainda se move, porque os mecanismos não se repetem. A própria documentação da OpenAI diz isso abertamente: chat completions são não determinísticas por padrão e, mesmo com uma seed definida, o sistema deles “will make a best effort to sample deterministically” e “determinism is not guaranteed”. Na nossa própria amostragem, vimos de 9% a 27% do conjunto de nomes mencionados mudar de um dia para o outro, e onde isso cai depende do mecanismo. E isso com ninguém publicando nada.
É por isso que o Proofsource roda um relatório de teste e reteste: os mesmos Prompts fixos, o mesmo mecanismo, duas vezes por dia, num site que não mudou. Ele dá o tamanho do seu próprio ruído antes de você definir um limite em cima dele. Pule isso e o seu limite é um chute.
Onde isto pode estar errado
Payton e colegas deduziram o resultado para médias de populações normais, supondo erros padrão iguais e amostra grande. Visibilidade é uma proporção, e um intervalo de Wilson fica assimétrico perto de 0 e de 100%. A direção se mantém sem problema, a sobreposição de 95% é conservadora demais para um teste de 5%, mas trate 83% a 84% como regra prática para o nosso caso, não como prova sobre ele. Perto dos extremos, rode o teste de verdade.
O exemplo é aritmética, não uma medição. Os 200 Prompts, os 84 e 60, as 30 viradas contra 6 são números que escolhemos para serem coerentes entre si e mostrar a diferença. Os seus serão outros, e a divisão é o que vale olhar.
Significância estatística e “você causou isso” são afirmações separadas, e só a primeira está em jogo aqui. Um p de 0,00006 contra o ruído de amostragem diz que o comportamento do mecanismo mudou entre as duas execuções. Não diz nada sobre o porquê. Com a rotatividade que medimos, um movimento significativo ainda pode ser o mecanismo mudando por conta própria.
O número de 9% a 27% é nosso. É o que vimos nos mecanismos que amostramos, não uma constante publicada, e não substitui medir o seu.
