Uma resposta mencionou você
Esta semana1 de 1
100%
Visibilidade: 100%. Essa pergunta é sua.
Um número oscila. O intervalo de 95% mostra o que é real.
Faça as mesmas perguntas à IA duas vezes e você recebe um número diferente. Todo número do Proofsource vem com uma margem, para você distinguir uma mudança real de sorte.
200 respostas. 25 Prompts/pergunta. Os principais mecanismos de IA. 2 dias. Grátis. Sem cartão.
A taxa real está em algum ponto aqui dentroIntervalo de 95%
43% a 62%
0%50%100%
Essa faixa é o intervalo de 95%. Um número oscila. A faixa mostra o que é real.
Os mesmos dados, dois relatórios. Com qual você agiria?
Um número sem sua faixa pode estar exatamente certo e ainda assim levar você para o lado errado. Alterne entre as duas leituras.
A queda que não existiu
Semana passada4 de 10
40%
Esta semana2 de 10
20%
Visibilidade caiu pela metade, de 40% para 20%. Algo quebrou.
O ranking apertado demais
Sua marca6 de 10
60%
Concorrente4 de 10
40%
Você lidera, 60% a 40%.
A vitória que é real
Antes da correção60 de 200
30%
Depois da correção100 de 200
50%
Visibilidade subiu de 30% para 50%.
Todas as manchetes acima estão matematicamente corretas, e três das quatro levariam você na direção errada. Alterne para ver por quê.
Um número menor e confiável vale mais que um maior que não é real. É exatamente por isso que a faixa está ali.
A resposta em uma linha
53 de 100 respostas mencionaram a Tesla, então sua taxa de menção é 53%, com um intervalo de 95% de 43% a 62%. Faça as mesmas perguntas de compra de novo e a 53% sai um pouco diferente a cada vez; o intervalo é uma faixa calculada para que, 19 vezes em 20, contenha a taxa que você obteria se pudesse perguntar para sempre.
O ponto é a taxa que medimos, 53.0%. A barra é o intervalo de 95%, de 43.3% a 62.5%. Leia assim: a Tesla é mencionada em algo entre cerca de 43% e 62% das respostas a essas perguntas, mais provavelmente perto de 53%.
Acompanhe: faça as mesmas perguntas de novo e de novo
Nada muda entre esses relatórios: a taxa real é fixa. Só o acaso muda quais respostas voltam. Aperte o botão e veja onde cada relatório cai.
Taxa real (o que você teria perguntando para sempre)
Respostas por relatório
10 relatórios, cada um com 25 respostas. O número principal variou de 24.0% a 52.0%, embora nada tenha mudado: a taxa real ficou em 40%.
10 de 10 intervalos (100%) contêm a taxa real, marcada pela linha tracejada. Continue perguntando e o valor se estabiliza em 93.6% nessa configuração, perto de 19 em 20: as respostas vêm em números inteiros, então o valor exato oscila um pouco em torno de 95%. Nenhuma ausência ainda; continue perguntando e a laranja aparece de vez em quando.
Teste com os seus números
O mesmo cálculo que o produto faz em cada número: o intervalo de score de Wilson a 95%.
53.0% taxa de menção
Intervalo de 95%: 43.3% a 62.5%, cerca de 9.6 pontos para cima ou para baixo.
Aumente as respostas e veja a faixa se estreitar: quatro vezes mais respostas, mais ou menos metade da largura.
Por que respostas de IA precisam de uma faixa
Mecanismos de IA não dão a mesma resposta duas vezes. Faça a mesma pergunta amanhã, ou com palavras um pouco diferentes, e as marcas mencionadas mudam.
No nosso próprio acompanhamento, 47% das mudanças diárias nas respostas de IA se reverteram no dia seguinte (40 perguntas de compra, quatro mecanismos, até nove dias). Uma marca mencionada em uma formulação da pergunta foi mencionada em outra formulação apenas 55% das vezes (13.994 respostas).
Então uma única resposta, ou um único dia, é uma amostra de um alvo em movimento. O intervalo transforma muitas amostras em uma afirmação honesta: a taxa, e o quanto podemos ter certeza dela.
Mais respostas, faixa mais estreita
A largura depende principalmente de quantas respostas estão por trás do número. Arraste ao longo da curva.
| Respostas | Mencionado (a 30%) | Intervalo de Wilson de 95% | Mais ou menos |
|---|---|---|---|
| 10 | 3 de 10 | 10,8% a 60,3% | cerca de 24,8 pontos |
| 25 | 8 de 25 | 17,2% a 51,6% | cerca de 17,2 pontos |
| 50 | 15 de 50 | 19,1% a 43,8% | cerca de 12,3 pontos |
| 100 | 30 de 100 | 21,9% a 39,6% | cerca de 8,8 pontos |
| 200 | 60 de 200 | 24,1% a 36,7% | cerca de 6,3 pontos |
| 400 | 120 de 400 | 25,7% a 34,7% | cerca de 4,5 pontos |
| 1.000 | 300 de 1.000 | 27,2% a 32,9% | cerca de 2,8 pontos |
A mudança é real ou ruído?
A pergunta que todo relatório semanal levanta. Três regras resolvem.
- As faixas não se tocam: a mudança é real. Aja.
- As faixas se tocam: isso não prova que nada mudou. Duas faixas de 95% de amostras idênticas se sobrepõem em mais de 99% das vezes, então a sobreposição é um teste muito rigoroso (por que barras de erro sobrepostas não são o teste). Compare as perguntas que passaram de mencionado para não mencionado, e de volta.
- Nossos alertas são rigorosos de propósito: só disparam quando as faixas se separam e a variação passa do limite que você definiu, então todo alerta que você recebe é confiável.
O que é o intervalo de Wilson
O método por trás de cada faixa que mostramos, publicado pelo estatístico Edwin B. Wilson em 1927 e o que a literatura estatística recomenda para uma taxa calculada a partir de um número modesto de resultados sim ou não.
Cada resposta de IA menciona sua marca ou não menciona, então a taxa de menção é uma proporção de resultados sim ou não: o que os estatísticos chamam de proporção binomial. O método de Wilson traça a faixa em torno dessa proporção em dois passos. Ele puxa o centro um pouco em direção a 50%, mais quando há poucas respostas, e depois traça uma faixa em torno desse centro cuja largura depende da taxa e do número de respostas. Com p a proporção de respostas que mencionaram você, n o número de respostas e z = 1,96 para 95%:
centre = (p + z^2/(2n)) / (1 + z^2/n) half-width = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) ) 95% range = centre - half-width to centre + half-width
A fórmula mais simples da maioria dos livros didáticos, a taxa mais ou menos 1,96 erro-padrão (o intervalo de Wald), falha justamente onde a visibilidade em IA vive: amostras pequenas e taxas próximas de 0% ou 100%. As mesmas respostas, dos dois jeitos:
| Answers | Rate | Simple plus-or-minus | Wilson 95% |
|---|---|---|---|
| 53 of 100 | 53.0% | 43.2% to 62.8% | 43.3% to 62.5% |
| 2 of 25 | 8.0% | -2.6% to 18.6%, abaixo de zero | 2.2% to 25.0% |
| 0 of 25 | 0.0% | 0.0% to 0.0%, nenhuma faixa | 0.0% to 13.3% |
| 25 of 25 | 100.0% | 100.0% to 100.0%, nenhuma faixa | 86.7% to 100.0% |
É por isso que a revisão de Brown, Cai e DasGupta sobre os métodos mais comuns, na Statistical Science (2001), recomenda o Wilson para amostras de 40 ou menos, por isso Agresti e Coull (1998) concluíram que ele cobre a taxa real de forma mais confiável que a fórmula dos livros, e por isso a comparação de sete métodos feita por Newcombe na Statistics in Medicine (1998) o favoreceu. Painel, relatórios, exportações e API calculam o mesmo intervalo de Wilson, então um número significa a mesma coisa onde quer que você o leia. A fórmula passo a passo também está em O que é um intervalo de Wilson?, e cada número que calculamos está descrito em Metodologia.
Referências
Os artigos por trás do método, para você mesmo conferir as contas.
- Journal of the American Statistical Association1927
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212.
O artigo original: o intervalo de score para uma proporção que nossas faixas usam.
Abrir em doi.org - Statistical Science2001
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101-133.
A revisão de referência dos métodos. Mostra que o intervalo de "mais ou menos" dos livros se comporta mal e recomenda o de Wilson para amostras pequenas.
Abrir em doi.org - The American Statistician1998
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119-126.
Conclui que o intervalo de Wilson (score) cobre a taxa real com mais confiabilidade que a fórmula dos livros.
Abrir em doi.org - Statistics in Medicine1998
Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine, 17(8), 857-872.
Compara sete métodos nos mesmos casos e recomenda o intervalo de score de Wilson.
Abrir em doi.org - NIST e-Handbook of Statistical MethodsNIST
NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1: Confidence intervals for a proportion.
O manual do National Institute of Standards and Technology dos EUA apresenta o método de Wilson e observa que ele é recomendado por Brown, Cai e DasGupta e por Agresti e Coull.
Abrir em itl.nist.govLeitura gratuita - Journal of Insect Science, on PubMed Central2003
Payton, M. E., Greenstone, M. H., & Schenker, N. (2003). Overlapping confidence intervals or standard error intervals: what do they mean in terms of statistical significance? Journal of Insect Science, 3(1), 34.
Por que duas faixas de 95% sobrepostas não significam que nada mudou: a sobreposição funciona como um teste a cerca de 1%, não 5%.
Abrir em pmc.ncbi.nlm.nih.govLeitura gratuita - Psychometrika1947
McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157.
O teste para comparar as mesmas perguntas feitas duas vezes, pelas perguntas que mudaram de resultado.
Abrir em doi.org - Evan MillerEssay
Miller, E. How not to sort by average rating.
Um texto muito lido, em linguagem simples, defendendo o intervalo de Wilson para ordenar itens pela parcela de votos sim ou não.
Abrir em evanmiller.orgLeitura gratuita
Perguntas frequentes sobre o intervalo de 95%
95% quer dizer que temos 95% de certeza de que nosso número está certo?
Não exatamente. Significa que o método que gerou o intervalo acerta a taxa real 19 vezes em 20. Cada intervalo contém a taxa real ou não; os 95% indicam com que frequência o método acerta ao longo de muitas medições.
Por que não mostrar só a porcentagem?
Porque uma porcentagem tirada de poucas respostas de IA pode variar muito por acaso. Sem a margem, uma queda de 53% para 45% parece notícia quando pode ser ruído. A margem mostra quanto um número pode oscilar antes de significar algo.
Por que a faixa fica desigual perto de 0% e 100%?
Taxas não podem ficar abaixo de 0% nem acima de 100%, então o método de Wilson curva a margem para longe da borda. 2 de 25 respostas dá cerca de 2% a 25%, não 8% simétricos com 11 pontos para mais ou para menos, o que ficaria abaixo de zero.
Como deixo o intervalo mais estreito?
Obtenha mais respostas: mais perguntas de compra, mais mecanismos ou mais dias de monitoramento. A margem diminui com a raiz quadrada das respostas, então quatro vezes mais respostas a reduz mais ou menos pela metade.
A faixa cobre tudo o que pode estar errado?
Não. Ele cobre o acaso de quais respostas recebemos. Não cobre quais perguntas foram feitas, mudanças nos mecanismos de um dia para o outro nem respostas que julgamos errado. Isso é tratado escolhendo perguntas que os compradores realmente fazem, refazendo-as com frequência programada e guardando as respostas para você conferir.
Duas das minhas barras se sobrepõem. Nada mudou?
Não necessariamente. Dois intervalos de 95% de amostras idênticas se sobrepõem em mais de 99% das vezes, então a sobreposição é um teste rigoroso demais, que deixa passar mudanças reais. Quando as barras não se tocam, a mudança é real. Quando se tocam, compare as perguntas cuja resposta mudou.
Leia a seguir
A lista curta está sendo escrita agora mesmo.
Veja quais perguntas de compra mencionam sua marca, quem é mencionado no lugar e o que corrigir. 200 respostas. 25 Prompts/pergunta. Os principais mecanismos de IA. 2 dias. Grátis. Sem cartão.
200 respostas. 25 Prompts/pergunta. Os principais mecanismos de IA. 2 dias. Grátis.
Google AI OverviewsGoogle AI Mode
Google AI OverviewsGoogle AI Mode