Uma verificação que mencionou você é compatível com uma taxa real de 20,7%
A forma mais comum de uma marca descobrir onde está na busca com IA é alguém fazer a pergunta uma vez, ler a resposta e relaxar ou entrar em pânico. Essa única resposta vira então o número que todo mundo repete na reunião seguinte.
Trate-a pelo que ela é. Uma pergunta, feita uma vez, com resultado sim ou não, é uma amostra de tamanho um de uma moeda cujo viés você não conhece. O intervalo de Wilson é a forma padrão de colocar limites nesse tipo de proporção. Rode-o com um sucesso em um ensaio a 95% de confiança e a resposta é de 20,7% a 100%.
Em termos simples: um modelo que menciona você numa única verificação é totalmente compatível com um modelo que mencionaria você em uma resposta a cada cinco. O print não distingue os dois. Você também não.
A ausência é pior. Zero em um dá um intervalo de 0% a 79,3%, e equipes reescrevem um plano de conteúdo com base exatamente nisso o tempo todo.
O mesmo Prompt devolve outra resposta por causa de quem mais estava perguntando
Isso não importaria se os mecanismos fossem determinísticos. Não são, e o motivo é mais específico que o aceno genérico de sempre à aleatoriedade. A OpenAI diz isso claramente nas próprias orientações da API: Chat Completions são não determinísticas por padrão, o que significa que as saídas do modelo podem variar de uma requisição para outra. Uma seed compra o que a mesma página chama de saída em grande parte determinística, e a OpenAI expõe um system fingerprint para você saber quando uma mudança no backend mexeu no chão sob seus pés.
O Thinking Machines Lab mediu isso. Em setembro de 2025, o laboratório amostrou 1.000 respostas do Qwen3-235B-A22B-Instruct-2507 com temperatura zero, que é amostragem gulosa e, em teoria, deveria ser perfeitamente repetível, usando o Prompt “Tell me about Richard Feynman”. Obtiveram 80 respostas únicas, a mais comum aparecendo 78 vezes. As 1.000 execuções concordaram nos primeiros 102 tokens e se dividiram no 103º: 992 continuaram com “Queens, New York” e 8 com “New York City”.
A causa que eles identificam não é aleatoriedade da GPU. Os kernels são determinísticos de uma execução para outra, mas não são invariantes ao lote, então uma requisição recebe uma aritmética um pouco diferente dependendo do lote em que cai, e o tamanho do lote é definido pela carga do servidor. A conclusão deles merece ser lida duas vezes: o principal motivo pelo qual quase todos os endpoints de inferência de LLM são não determinísticos é que a carga, e portanto o tamanho do lote, varia de forma não determinística.
Isso significa que a resposta que você printou depende em parte de quantos desconhecidos estavam consultando o mesmo endpoint no mesmo segundo. Isso não é um sinal sobre a sua marca.
Vinte amostras ainda deixam uma faixa de quarenta pontos
Depois que você aceita que um número de visibilidade é uma proporção estimada a partir de uma amostra, a próxima pergunta é de que tamanho a amostra precisa ser. O intervalo de Wilson responde, e a resposta é humilhante. Todos estes supõem que o modelo menciona você em 60% das vezes:
- 5 amostras, 3 menções: de 23,1% a 88,2%. Uma faixa de 65 pontos. Você sabe que a marca existe.
- 20 amostras, 12 menções: de 38,7% a 78,1%. Uma faixa de 39 pontos, que é quase a escala toda.
- 40 amostras, 24 menções: de 44,6% a 73,7%. Agora dá para descartar ser invisível.
- 100 amostras, 60 menções: de 50,2% a 69,1%. Ainda com 19 pontos de largura.
- 366 amostras: o primeiro ponto em que o intervalo se estreita para mais ou menos 5 pontos. Chegar a mais ou menos 3 exige 1.021.
A maior parte do movimento reportado num painel de visibilidade em IA não aconteceu
É aqui que a conta começa a custar dinheiro. Amostre um Prompt 40 vezes na primeira semana e veja 24 menções, depois 40 vezes na segunda semana e veja 32. Isso parece um salto de 60% para 80%, e vai estar num slide até sexta-feira.
Os dois intervalos são de 44,6% a 73,7% e de 65,2% a 89,5%. Eles se sobrepõem. Uma oscilação de 20 pontos em 40 amostras ainda não é um resultado, e o certo a dizer na sala é que nada foi estabelecido. Faça isso algumas vezes e as pessoas param de correr atrás do ruído.
É por isso que, no Proofsource, condicionamos os alertas ao intervalo e não à estimativa pontual, e por isso toda porcentagem de visibilidade nos nossos relatórios traz um intervalo de Wilson ao lado. Um alerta que dispara quando um número cruza uma linha dispara o tempo todo num sistema com tanto ruído. Um que dispara quando os intervalos se separam dispara quando algo aconteceu.
A mesma lógica vale para o zero. Nenhuma menção em 20 amostras deixa um limite superior de 16,1%, e nenhuma menção em 40 deixa 8,8%. Se você quer afirmar que um mecanismo nunca menciona você, 40 amostras é mais ou menos onde essa afirmação começa a significar alguma coisa.
Use o intervalo de Wilson, não o que você aprendeu na escola
Uma nota técnica, porque a alternativa óbvia falha exatamente nos casos que importam aqui. O intervalo que a maioria das pessoas aprendeu é o de Wald, construído com a aproximação normal simples. Com um sucesso em um ensaio ele dá de 100% a 100%, e com zero em um dá de 0% a 0%. Ele diz que uma única verificação é certeza, que é exatamente o erro que estamos tentando corrigir.
Isso está bem documentado. A revisão de Brown, Cai e DasGupta na Statistical Science concluiu que a cobertura irregular do intervalo de Wald é muito mais persistente do que se imagina, que as prescrições comuns de livros-texto sobre quando ele é seguro são enganosas e defeituosas e não merecem confiança, e eles recomendam o de Wilson para amostras pequenas. Amostrar mecanismos de resposta é trabalhar com amostras pequenas, porque cada Prompt que você acompanha tem a própria contagem.
O que fazer na segunda-feira
Nada disso exige comprar alguma coisa. Exige mudar o que você anota.
- Pare de reportar uma única verificação. Se a evidência é um print, o resultado é que a marca pode aparecer, e nada mais.
- Escolha um tamanho de amostra antes de olhar os dados e mantenha-o igual em todos os períodos. Mudar o n entre leituras torna dois números incomparáveis mesmo quando os dois são honestos.
- Reporte o intervalo, não o ponto. Uma linha dizendo 60% com faixa de 45 a 74 é mais difícil de superinterpretar que uma linha dizendo 60%.
- Defina o limite de alerta pela separação dos intervalos e distribua as amostras ao longo dos dias. Dois intervalos que se sobrepõem não são uma mudança, por mais diferentes que os pontos médios pareçam.
Onde isto pode estar errado
Os números de Wilson acima são aritmética exata sobre entradas declaradas, então os números não estão em dúvida. A premissa de modelagem por trás deles está. Intervalos de Wilson supõem ensaios independentes com probabilidade de sucesso fixa, e consultas repetidas a um mecanismo ao vivo não são independentes de forma limpa: personalização, cache, contexto de sessão e uma versão de modelo lançada no meio da semana violam essa premissa. Trate esses intervalos como um piso da sua incerteza, não como a conta completa dela.
O experimento do Thinking Machines rodou um modelo de pesos abertos hospedado na própria infraestrutura do laboratório, não o ChatGPT, o Gemini ou o Perplexity. Ele estabelece o mecanismo, não a variância de nenhum produto comercial, e nenhum desses fornecedores publica a sua.
O número de 60% na tabela de tamanhos de amostra é ilustrativo. Nós o escolhemos porque os intervalos são mais largos perto do meio, o que o torna o caso conservador. Uma marca em 5% ou 95% precisa de menos amostras para a mesma precisão absoluta.
O que nós defenderíamos é a direção do erro. Amostras pequenas, verificações únicas e estimativas pontuais sem intervalo empurram todas para o mesmo lado, o de acreditar que você mediu algo quando não mediu.
