Com o parágrafo exato em mãos, oito ferramentas indicaram a fonte errada em 60% das vezes
Aqui vai um teste que deveria ser fácil. Pegue um parágrafo de um artigo publicado, cole numa ferramenta de busca com IA e pergunte de qual artigo ele veio, quem o publicou e qual é a URL. O texto está ali mesmo no Prompt. Nada precisa ser adivinhado.
O Tow Center for Digital Journalism fez exatamente isso em fevereiro de 2025 com oito ferramentas: ChatGPT Search, Perplexity, Perplexity Pro, DeepSeek Search, Copilot, Grok 2, Grok 3 em beta e Gemini. Vinte publicações, dez artigos cada, 1.600 consultas no total. Os trechos foram escolhidos de forma que, colados na busca comum do Google, trouxessem o original entre os três primeiros resultados.
No conjunto, as ferramentas responderam errado a mais de 60% das consultas. O Perplexity foi o melhor do grupo e ainda errou 37%. O Grok 3 errou 94%. O DeepSeek atribuiu o trecho à fonte errada 115 vezes em 200.
A confiança é a parte que merece atenção. O ChatGPT identificou errado 134 artigos e sinalizou alguma incerteza quinze vezes em duzentas respostas. Nunca se recusou a responder.
A própria documentação do Perplexity diz que os marcadores dependem do Prompt e que a lista de resultados é a verdade
Isso parece um problema de qualidade do modelo. Está mais perto de um problema de arquitetura, e dá para ler a arquitetura na própria documentação para desenvolvedores dos fornecedores.
Uma busca na web pela Agent API do Perplexity volta como dois objetos separados. Um é um item search_results com as consultas que rodaram e cada resultado que a ferramenta trouxe, cada um com id, url, título e snippet. O outro é a mensagem do assistente, que é o texto da resposta. Os marcadores entre colchetes que todo mundo trata como citações ficam dentro desse texto, e a página de referência do Perplexity para a ferramenta diz que se o modelo os acrescenta ou não depende do Prompt, então você deve pedi-los explicitamente. Depois ela diz aos desenvolvedores em que confiar no lugar: independentemente dos marcadores, trate os campos id e url de cada entrada de search_results como a fonte da verdade das citações.
Leia isso com os olhos de uma marca. O fornecedor está dizendo aos próprios desenvolvedores que a citação visível não é confiável e que o conjunto buscado é. Quem mede visibilidade em IA de fora só vê a citação visível.
A mesma documentação desaconselha pedir a um modelo que emita URLs dentro de uma saída estruturada, porque um modelo escrevendo links pode produzir links malformados ou inventados, e manda os desenvolvedores de volta aos resultados de busca. O Tow Center mediu a versão dessa falha do lado do consumidor. Mais da metade das respostas do Gemini e do Grok 3 trazia URLs inventadas ou quebradas, e 154 das 200 citações do Grok 3 caíram em páginas de erro.
Uma citação extraída pelo sistema traz posições de caracteres
Compare isso com uma citação que o sistema calcula em vez de o modelo escrever. O recurso Citations da API do Claude devolve, para cada afirmação da resposta, um bloco com o cited_text exato, o índice do documento de onde veio e uma posição inicial e final de caracteres nesse documento. A documentação explica por que esse formato importa: como a API analisa as citações e extrai o cited_text diretamente, as citações têm garantia de conter ponteiros válidos para os documentos fornecidos.
A API de grounding do Google para o Gemini segue a mesma linha. Uma resposta fundamentada volta com as buscas que o modelo de fato executou, mais anotações url_citation que trazem cada uma um start_index e um end_index no texto da resposta, então você pode destacar o trecho exato e indicar a URL por trás dele.
Ou seja, o mecanismo existe. Uma citação que é um ponteiro calculado pelo sistema pode ser verificada. Uma citação que é um texto escrito pelo modelo é uma afirmação, e merece o mesmo ceticismo que qualquer outra afirmação da resposta. As superfícies que os compradores de fato usam mostram, em geral, o segundo tipo.
Seu parágrafo no domínio de outra pessoa fica com o crédito
O Tow Center encontrou uma falha que pesa mais para marcas do que para qualquer outra pessoa. As ferramentas citaram repetidamente cópias sindicadas ou republicadas em vez do original. O Perplexity Pro citou versões republicadas de artigos do Texas Tribune em três de dez consultas, e o Perplexity tem uma parceria com o Texas Tribune. O ChatGPT citou uma republicação no Yahoo News de um artigo do USA Today.
A versão disso para uma marca é mais sem graça e muito mais comum. Sua página de comparação explica a diferença real entre dois níveis de plano. Um blog de listas comparativas a parafraseia. Quando alguém faz a pergunta da categoria, a lista fica com o link, suas palavras estão na resposta e o seu domínio não aparece em lugar nenhum.
Na nossa própria amostragem, numa pergunta de melhor da categoria, na única categoria que testamos, listas e comparativos responderam por cerca de 44% das fontes que o ChatGPT citou. Isso é nosso e está restrito ao que amostramos. Mas combina com o formato do problema: as vagas de citação são uma superfície pequena e disputada, e páginas de terceiros são muito boas em ocupá-las.
Conte três resultados em vez de um
Se a lista de links é uma leitura pouco confiável do que o mecanismo usou, uma única contagem de citações é o instrumento errado. Três perguntas se separam com clareza, e cada uma leva a um lugar diferente.
- A resposta mencionou você? A presença no texto é uma medida própria, e ela se mexe independentemente de um link aparecer ou não.
- A resposta deu crédito a você, ou a uma página que traz o seu material? Se for a segunda opção, você tem um problema de posicionamento, e reescrever a sua página não vai mexer nisso.
- O mecanismo conseguia alcançar você? Uma citação ausente tem uma explicação sem graça boa parte das vezes, e uma verificação de acesso de bots resolve isso antes de alguém reescrever qualquer coisa.
O que fazemos a respeito
É por isso que o Proofsource faz detecção de lacunas de citação e de citações fantasmas em vez de reportar um único número, e por isso cada dado é identificado pela origem: observado numa resposta ou gerado. Uma resposta que cita você sem link e uma resposta que nunca viu você parecem idênticas num painel que conta links.
Também é por isso que a amostragem registra o texto da resposta, não só a lista de fontes. Se as suas palavras aparecem no texto enquanto o domínio de outra pessoa aparece nas fontes, isso é um resultado, e é um trabalho diferente de não ter sido buscado.
Onde isto pode estar errado
Os testes do Tow Center rodaram em fevereiro de 2025 e foram publicados em março. Isso foi há dezoito meses, e todos os produtos do conjunto lançaram muitas versões desde então. Considere os 60% como evidência de que esse tipo de falha é real e mensurável, não como a taxa de erro de hoje. Não rodamos o teste de novo.
A própria seção de limitações do estudo diz que cada consulta foi rodada uma vez e que quem rodasse os mesmos Prompts de novo muito provavelmente teria resultados diferentes. A precisão de atribuição é, ela própria, uma medida com ruído.
Colar um trecho e perguntar quem o escreveu é um teste de procedência, não a forma como um comprador pesquisa. Ele pressiona a atribuição diretamente, que é o objetivo, mas não diz com que frequência a atribuição dá errado dentro de uma pergunta de categoria comum.
O comportamento das APIs acima é a superfície para desenvolvedores. ChatGPT, AI Overviews e o próprio site do Perplexity não têm garantia de rodar o mesmo caminho de código, e estamos raciocinando a partir do comportamento documentado para desenvolvedores, não de dentro dos produtos para consumidores.
E o limite honesto do nosso próprio conselho: de fora, nem sempre dá para separar uma página que foi buscada e não creditada de uma página que nunca foi buscada. Verificar o acesso dos crawlers estreita a dúvida. Procurar as suas próprias palavras no texto da resposta estreita mais. Nenhum dos dois a elimina.
