Repetida, a marca ficou em 78% das vezes. Reformulada, em 55%
A maioria dos conselhos sobre testar perguntas de compra diz para fazer cada Prompt de três a cinco vezes, porque as respostas variam entre execuções. Queríamos saber o que mexe mais numa leitura, essa oscilação ou a redação, então medimos os dois nos mesmos dados.
A amostra: 13.994 respostas de workspaces do Proofsource entre 4 e 15 de outubro de 2026. São 96 marcas em 69 workspaces e 1.908 perguntas de compra no ChatGPT, Perplexity, Claude e Google AI Overviews, primeira resposta por pergunta, mecanismo e dia, excluindo perguntas que mencionam a marca. As perguntas de cada marca ficam em temas, cada um uma decisão de compra, geralmente formulada de três a cinco jeitos.
Pegue cada resposta que mencionou a marca. Depois olhe a mesma pergunta no mesmo mecanismo na vez seguinte em que a fizemos. 448 de 578 ainda mencionaram a marca, 77,5% (intervalo de 95% de 73,9% a 80,7%). Descartamos 55 pares em que o mecanismo devolveu a resposta anterior palavra por palavra, já que uma repetição não é um segundo sorteio.
Agora olhe as outras formulações da mesma decisão, no mesmo mecanismo, no mesmo dia. 3.270 de 5.934 mencionaram a marca, 55,1%. Uma formulação que menciona você foi um guia mais fraco para as irmãs dela do que para ela mesma em outro dia.
As 15 marcas com dados suficientes mostraram a mesma diferença
Números agregados podem esconder uma marca grande fazendo todo o trabalho, então rodamos a análise por marca: 15 marcas tinham pelo menos dez pares de cada tipo. Nas 15, uma formulação irmã mencionou a marca com menos frequência que a repetição da mesma formulação. A marca mediana manteve o nome em 35% das formulações irmãs e em 70% das repetições.
Os concorrentes se comportam do mesmo jeito. Um concorrente monitorado mencionado numa resposta foi mencionado numa formulação irmã naquele dia em 40,2% das vezes (24.840 de 61.804), e na mesma formulação da vez seguinte em 77,0% (7.347 de 9.539).
Pelo lado do tema, é ainda mais forte. Em 840 dias em que uma marca foi mencionada em pelo menos uma formulação de um tema num mecanismo, ela foi mencionada em todas as formulações apenas 102 vezes. Os outros 738, 87,9%, ficaram divididos.
Perguntas de comparação direta mencionaram a marca em 2,9% das respostas
Parte dessa diferença vem de um formato de pergunta. Um comprador que pergunta “concorrente A vs concorrente B” recebe uma resposta sobre A e B. Em 1.822 respostas desse tipo, a marca foi mencionada em 53, 2,9% (de 2,2% a 3,8%). Perguntas pedindo alternativas a um concorrente mencionado se saíram muito melhor, com 14,9%, assim como perguntas com uma restrição de preço ou de tamanho de equipe (15,1%) e perguntas simples do tipo “qual é o melhor” (13,9%).
Tirar as perguntas de comparação direta diminui a diferença sem eliminá-la: as irmãs passaram a mencionar a marca em 62,9% das vezes (2.984 de 4.746), ainda bem abaixo de 77,5%.
Cinco jeitos de perguntar sobre baterias para a rede elétrica, dois dos quais nunca mencionaram a Tesla
A Tesla é o nosso exemplo público. O tema de armazenamento para a rede tem cinco formulações de uma decisão, quatro mecanismos e três dias de análise (4, 8 e 15 de outubro; as respostas de 5 de outubro repetiram as de 4 de outubro palavra por palavra e não foram contadas), ou seja, 12 respostas novas por formulação.
- “What are the best grid-scale battery storage systems for a utility company?” Tesla mencionada em 12 de 12.
- Melhores alternativas a um concorrente mencionado para armazenamento em escala de concessionária: 12 de 12.
- “Which commercial battery energy storage system should I choose for peak shaving at a large facility?” 7 de 12, e nenhuma delas no Claude.
- “How much does a utility-scale lithium iron phosphate battery storage system cost per MWh?” 0 de 12.
- “What should I look for when comparing turnkey battery storage providers for a solar farm?” 0 de 12.
Perder uma formulação para ninguém é outro problema
Esses dois últimos zeros não são um concorrente vencendo a Tesla. Nenhuma das 24 respostas mencionou a Tesla nem qualquer um dos fornecedores que as outras três formulações mencionaram. Os mecanismos responderam com preços por MWh e checklists de compra. Um comprador que pergunta desse jeito recebe critérios, e quem escreveu os critérios molda a lista curta que ele vai montar depois.
Então, quando testar formulações, separe cada uma que perde em duas pilhas. Outra empresa foi mencionada: você tem uma lista curta em que precisa entrar, e as páginas que o mecanismo citou dizem onde. Ninguém foi mencionado: você tem um guia para escrever, o tipo de página que um mecanismo cita quando explica como escolher.
Como testar formulações, diante de tudo isso
Escreva as formulações por formato. Trocar “melhor” por “top” testa muito pouco. Cubra os formatos pelos quais um comprador passa: a pergunta aberta do tipo “qual é o melhor”, a mesma pergunta com uma restrição, alternativas a um concorrente mencionado e a pergunta sobre custo ou critérios.
- Mostre cada formulação separadamente antes de tirar a média. A pontuação de um tema mistura um 12 de 12 e um 0 de 12 num número mediano que não descreve nenhum dos dois.
- Mantenha as perguntas de comparação direta num grupo próprio. Vale a pena conhecê-las, e elas puxam qualquer média para baixo.
- Repita cada formulação em dias diferentes e depois descarte as respostas que são repetições palavra por palavra.
- Corrija a formulação que perde e depois refaça exatamente essa redação. Uma vitória na irmã dela não conta.
Como o Proofsource lida com isso
O Proofsource acompanha cada formulação como uma pergunta própria, agrupada em temas, em todos os mecanismos do plano. Para cada resposta, registra as marcas mencionadas e as páginas citadas, então uma formulação que perde mostra quem foi mencionado no lugar, ou que ninguém foi.
Onde isto pode estar errado
Todas as 1.908 formulações, menos 18, foram geradas pelo Proofsource a partir do site e dos concorrentes de cada marca, então seguem os nossos formatos. Compradores reais formulam as coisas de jeitos que não testamos. A maioria das perguntas foi feita em um ou dois dias, algumas em até onze, então o número de repetição se apoia em 578 pares e pende para marcas com histórico mais longo.
As contagens de pares não são independentes: uma resposta pode aparecer em vários pares, então só demos intervalos quando cada contagem é de respostas separadas, e nos apoiamos na verificação por marca para a comparação principal. “Mencionada” é a nossa extração lendo a resposta, e uma falha aparece como diferença de qualquer um dos lados. Doze dias em outubro são um recorte, e uma atualização de modelo pode mudar qualquer parte disso.
