Todo guia manda abrir um chat novo e depois descreve um comprador de cinco rodadas
A forma padrão de verificar se um mecanismo de resposta menciona sua marca é escrever um conjunto de perguntas de compra, rodar cada uma num chat totalmente novo, sem contexto anterior, e registrar quem foi mencionado. Nós também fazemos isso, por um bom motivo: um chat que você já conduziu na direção da sua marca mostra o que diz um modelo aquecido, não o que um comprador frio vê.
Depois leia o que esses mesmos guias dizem que o comprador está fazendo. Alguém escolhendo um fornecedor pergunta o que observar, menciona uma restrição, pede uma comparação, pergunta onde comprar. O Google trata isso como o propósito do produto: a página de ajuda do AI Mode diz que você pode perguntar qualquer coisa e receber uma resposta, com a possibilidade de se aprofundar com perguntas de acompanhamento. A interação em torno da qual esses mecanismos foram construídos se estende por várias rodadas. Todo número de todo relatório de visibilidade em IA é o número da primeira rodada.
Um experimento com 200.000 conversas viu a queda chegar na segunda rodada
Existe uma grande medição controlada disso. Philippe Laban e Jennifer Neville, da Microsoft Research, com Hiroaki Hayashi e Yingbo Zhou, da Salesforce Research, a publicaram em 9 de maio de 2025. Eles pegaram 600 instruções totalmente especificadas em seis tarefas de geração, dividiram cada uma em partes e fizeram um usuário simulado revelar no máximo uma parte por rodada. Quinze modelos, mais de 200.000 conversas simuladas.
Modelos que marcavam cerca de 90% quando recebiam a instrução inteira numa mensagem marcaram cerca de 65% quando a mesma informação chegou ao longo de rodadas. Na média de modelos e tarefas, a queda foi de 39%, e todos os modelos pioraram em todas as tarefas.
Dividir uma instrução poderia simplesmente perder informação na reescrita. Eles controlaram isso: juntar as mesmas partes de novo numa lista de tópicos marcou 95,1% do original. A reescrita não custa nada; as rodadas custam tudo. Variando o grau de divisão, de duas partes até oito, o dano apareceu com duas e ficou estável depois disso.
Os modelos não ficaram menos capazes. Ficaram menos repetíveis.
Esta é a parte que importa se você reporta uma porcentagem para alguém. O artigo divide o desempenho em aptidão, a pontuação do percentil 90 em execuções repetidas, e falta de confiabilidade, a distância entre o percentil 90 e o 10. A aptidão em várias rodadas caiu cerca de 16%. A falta de confiabilidade subiu 112%. A melhor execução em várias rodadas é quase tão boa quanto a melhor em uma rodada, e a pior é muito pior, com a variação numa instrução fixa em média de cerca de 50 pontos.
Nenhum dos remédios habituais ajudou. O o3 e o DeepSeek R1 se perderam como todos os outros, e os autores culpam o tamanho: modelos de raciocínio escreveram respostas cerca de 33% mais longas, levando adiante mais das próprias suposições. Baixar a temperatura reduziu a falta de confiabilidade em 50% a 80% nos cenários de uma rodada e não fez nada de útil nos de várias rodadas, em que ela ficou perto de 30% mesmo fixada em zero.
Leia isso diante de um relatório de visibilidade. Uma lista curta lida uma vez na primeira rodada já é uma amostra de um processo com ruído, e é por isso que publicamos um intervalo ao lado de cada porcentagem. Uma lista curta lida uma vez na terceira rodada é uma amostra de um processo com o dobro da variação.
Sua lista curta da primeira rodada vira insumo da segunda
A OpenAI documenta o mecanismo. Cada requisição é independente e sem estado, e uma conversa de várias rodadas funciona reenviando as mensagens anteriores junto com a nova. Mesmo quando você encadeia respostas por ID, observa a OpenAI, todo token de entrada anterior é cobrado de novo como token de entrada. O histórico não é lembrado, é reenviado, e isso inclui a resposta anterior do próprio assistente.
Então, quando um comprador faz uma pergunta de acompanhamento, o modelo lê a própria lista curta da primeira rodada como parte da entrada, e Laban e colegas apontam a dependência excessiva de tentativas anteriores de resposta como uma de quatro causas do efeito. Isso aponta para algo que ainda não conseguimos provar: na primeira rodada você disputa uma vaga; na segunda, você discute com uma lista que o modelo já escreveu. Ninguém mediu isso em listas curtas de marcas. É a leitura em que nós apostaríamos.
O que medimos, e o número que nenhum de nós tem
O Proofsource amostra uma única rodada por construção. Fazemos cada Prompt várias vezes, pontuamos a visibilidade com um intervalo de Wilson em vez de um ponto e rodamos um relatório de teste e reteste que faz a mesma pergunta em dois dias seguidos. Nada disso amostra uma pergunta de acompanhamento como pergunta de acompanhamento. Nenhuma ferramenta que conhecemos faz isso, incluindo a nossa, e preferimos registrar isso a sugerir uma cobertura que não temos.
O que conseguimos mostrar é o efeito vizinho: mude a pergunta e o conjunto de nomes muda. Num relatório completo sobre uma única marca numa categoria de software empresarial, a pergunta da categoria trouxe catorze fornecedores, e a marca não estava entre eles. Perguntado pelo nome, o mesmo mecanismo a chamou de uma das principais plataformas da categoria e lhe deu de quatro a cinco estrelas. Em dezesseis formulações dessa mesma pergunta comercial, seis concorrentes apareceram em onze ou mais, e a marca em no máximo duas. Isso é nosso, uma marca e um mecanismo, e é um resultado de formulação, não de rodada.
- Escreva a pergunta de acompanhamento como um Prompt próprio. “Melhor ferramenta de gestão de projetos” e “melhor ferramenta de gestão de projetos para uma equipe de doze pessoas sem orçamento” são dois Prompts, não um.
- Coloque a restrição na primeira mensagem. É o conselho do artigo para os usuários, e a única forma de ter uma leitura que você consiga comparar no mês que vem.
- Pare de tratar o print de uma conversa de três rodadas como evidência, para qualquer lado. É uma execução do cenário menos repetível que alguém já mediu.
Onde isto pode estar errado
A maior lacuna é a transferência. As seis tarefas são funções em Python, consultas SQL, chamadas de API, aritmética de ensino fundamental, legendas de tabelas e resumos focados em consultas. Nenhuma delas é recomendar um fornecedor. O artigo mostra que os modelos perdem o fio de requisitos que chegam ao longo de rodadas e ficam muito menos repetíveis quando isso acontece. Não mostra que listas curtas de marcas se comportam do mesmo jeito. Achamos que sim, e não medimos.
Os usuários dele são simulados por um modelo pequeno, não por pessoas, e as tarefas são em inglês, só texto e analíticas. Os autores listam tudo isso e argumentam que suas condições são favoráveis o bastante para que a queda real provavelmente seja maior, o que reforça a direção e não diz nada confiável sobre o tamanho. Também são modelos de 2025, e nenhum dos quatro mecanismos que acompanhamos publica um número próprio de confiabilidade em várias rodadas.
Nossos números das dezesseis formulações são uma marca, uma categoria, um mecanismo, um relatório. Eles mostram a pergunta decidindo a lista e não são uma medição de rodadas. Também não temos um número de quantas vezes uma conversa de compra real passa de uma rodada: o Google chamar as perguntas de acompanhamento de propósito do AI Mode é uma declaração de design, não uma frequência.
O que nós defenderíamos é estreito e um pouco desconfortável para nós. O que todo produto desta categoria reporta é a primeira rodada, o que todo mundo discute é a conversa, e hoje nenhum de nós está medindo a diferença.
