167 respostas contadas como menções disseram algo falso sobre a marca
Uma taxa de menção faz uma única pergunta a cada resposta: a marca foi mencionada? Não pergunta o que a resposta disse depois de chegar lá. Queríamos saber com que frequência essas duas coisas se separam.
A amostra: respostas de workspaces do Proofsource entre 4 e 16 de outubro de 2026, no ChatGPT, Perplexity, Claude e Google AI Overviews. Para cada resposta que mencionou uma marca monitorada, um verificador comparou cada afirmação sobre a marca com fatos que a marca confirmou ou que lemos no próprio site dela. 2.137 respostas, cobrindo 80 marcas em 63 workspaces, tinham pelo menos uma afirmação que podia ser conferida com um fato registrado.
167 delas, 7,8%, tinham pelo menos uma afirmação que contradizia os fatos da própria marca (intervalo de 95% de 6,8% a 9,0%). Afirmação por afirmação, 200 de 4.761 afirmações verificáveis estavam erradas, 4,2%. Distribuindo pelas marcas, 36 das 80 tiveram pelo menos uma resposta errada em menos de duas semanas.
Cada uma dessas 167 respostas entrou na taxa de menção. No painel, elas pareciam exatamente iguais às respostas que acertaram tudo.
A maioria das afirmações erradas eram números: quantidades, preços e o que o produto é
Classificamos as 200 afirmações erradas pelo assunto, usando uma regra simples de texto, então considere a divisão aproximada.
- Quantidades e outros números, 92: integrações, unidades, clientes atendidos, uma taxa de colocação errada por um ponto.
- O que o produto é ou faz, 50: uma ferramenta de orçamento descrita como software de gestão de projetos, uma empresa de segurança descrita como projeto de blockchain.
- Preços e planos, 48: um preço inicial informado abaixo do real, créditos por plano informados errado.
- Datas, 10 pela regra, embora só 6 fossem de fato anos de fundação, a maioria errada por um ano.
O Claude errou um fato em 12% das respostas, o Perplexity em 5%
Por mecanismo, a parcela de respostas verificadas com pelo menos uma afirmação errada foi de 12,3% no Claude (58 de 470), 8,7% no Google AI Overviews (45 de 516), 6,0% no ChatGPT (37 de 612) e 5,0% no Perplexity (27 de 539).
Não leia isso como um ranking. Cada mecanismo respondeu a uma mistura diferente de perguntas na nossa amostra, e um estudo externo com outro método os classificou de outro jeito (mais sobre isso abaixo). O que vale para os quatro é que nenhum saiu limpo.
Respostas que citaram o site da própria marca erraram com metade da frequência
Em perguntas que mencionavam a marca, como “o que esta empresa faz” ou “quanto custa”, a resposta citou o site da própria marca 1.353 vezes. 7,1% delas erraram um fato (96). Quando o site da marca não estava entre as citações, 15,3% erraram (47 de 307, intervalo de 11,7% a 19,8%).
Em perguntas de compra que não mencionavam a marca, não houve diferença clara: 4,8% contra 5,7%, com contagens bem menores. Isto é uma correlação, não um teste. Mas aponta para a correção mais barata que existe: quando um mecanismo descreve você, ele acerta mais vezes se estiver lendo você.
176 fatos errados, 162 deles vistos só uma vez
Agrupando as afirmações erradas por marca, fato e valor, as 200 se reduzem a 176 fatos errados distintos. 162 deles apareceram numa única resposta. Só 14 se repetiram, e só 8 apareceram em mais de um mecanismo.
Isso muda a forma de agir. Um preço errado que um mecanismo afirmou uma vez é um sorteio que talvez você nunca veja de novo. Um que volta sempre, ou que aparece em dois mecanismos, está vindo de algum lugar, e esse lugar geralmente é uma página. Também encontramos 65 fatos errados sobre 17 marcas em páginas que os mecanismos citaram: páginas de terceiros que já traziam o erro.
O que abrir por trás da sua própria taxa de menção
Uma ferramenta que mostra só a taxa não consegue dizer nada disso. Peça as respostas.
- Leia o texto completo da resposta em cada pergunta em que você foi mencionado, começando pelas que mais mencionam você.
- Confira cada afirmação sobre você com suas páginas de preços, de produto e institucional. Preços, quantidades e datas de fundação são os primeiros a ficar desatualizados.
- Confira se a resposta é mesmo sobre você. Uma empresa com nome parecido pode ser contada como menção sua.
- Abra as páginas citadas. Se o seu próprio site não está entre elas, o mecanismo está descrevendo você a partir da página de outra pessoa.
- Conte as repetições antes de agir. Corrija primeiro a afirmação que se repete ao longo dos dias ou dos mecanismos, e encontre a página de onde ela vem.
Como o Proofsource lida com isso
O Proofsource guarda o texto completo e as páginas citadas de cada resposta. Para cada resposta que menciona sua marca, ele confere as afirmações sobre você com os fatos que você confirmou e os fatos lidos no seu próprio site, e só mantém um veredito de erro quando a afirmação citada e o valor correto aparecem palavra por palavra. O mesmo valor errado visto de novo soma à contagem de um único alerta em vez de abrir outro, e respostas sobre outra empresa com nome parecido são sinalizadas em vez de contadas como suas.
Onde isto pode estar errado
O verificador é um modelo de linguagem lendo contra fatos registrados. Lemos à mão 25 das 200 afirmações erradas: 21 eram contradições claras, e 4 eram fracas (um detalhe ausente lido como erro, uma faixa de valores, uma lista de fatos que se contradizia e uma afirmação sobre outro produto). Ele também só julga afirmações que correspondem a um fato armazenado. Outras 5.330 afirmações não tinham fato correspondente e não foram julgadas, então isto deixa passar erros sobre qualquer coisa que a marca nunca registrou.
Os fatos da própria marca também podem estar desatualizados, o que transformaria uma resposta correta num falso “erro”. As 80 marcas são, na maioria, empresas pequenas que se cadastraram no Proofsource, não uma amostra aleatória, e doze dias é um período curto, o que também limita quantas vezes um fato errado teve chance de se repetir.
Uma comparação externa: a Searchable pediu a funcionários de 1.704 marcas que avaliassem 32.556 fatos que mecanismos de IA afirmaram sobre elas, e eles marcaram 9,2% como falsos, com preços como a pior categoria, a 13,5%. Os avaliadores podiam marcar qualquer coisa que soubessem estar errada, inclusive detalhes desatualizados, o que é mais amplo que a nossa verificação por fatos registrados e provavelmente explica a taxa maior. Eles também consideraram o Perplexity o menos preciso dos três mecanismos comparados, o oposto da nossa ordem.
