Face au paragraphe exact, huit outils ont désigné la mauvaise source 60 % du temps
Voici un test qui devrait être facile. Prenez un paragraphe d’un article publié, collez-le dans un outil de recherche IA, et demandez de quel article il vient, qui l’a publié et quelle est l’URL. Le texte se trouve dans le Prompt. Rien n’est à deviner.
Le Tow Center for Digital Journalism a fait exactement cela en février 2025 sur huit outils : ChatGPT Search, Perplexity, Perplexity Pro, DeepSeek Search, Copilot, Grok 2, Grok 3 en bêta et Gemini. Vingt éditeurs, dix articles chacun, 1 600 requêtes au total. Les extraits avaient été choisis pour qu’une recherche Google ordinaire renvoie l’original dans les trois premiers résultats.
Ensemble, les outils ont mal répondu à plus de 60 % des requêtes. Perplexity était le meilleur du groupe et se trompait encore dans 37 % des cas. Grok 3 se trompait dans 94 %. DeepSeek a attribué l’extrait à la mauvaise source 115 fois sur 200.
C’est l’assurance qui mérite qu’on s’y arrête. ChatGPT s’est trompé sur 134 articles et n’a exprimé un doute que quinze fois sur deux cents réponses. Il n’a jamais refusé de répondre.
La documentation de Perplexity dit que les marqueurs dépendent du Prompt et que la liste des résultats fait foi
Cela ressemble à un problème de qualité du modèle. C’est plutôt un problème d’architecture, et on peut le lire dans la documentation développeurs des éditeurs eux-mêmes.
Une recherche web via l’Agent API de Perplexity revient sous forme de deux objets distincts. L’un est un élément search_results qui porte les requêtes lancées et chaque résultat récupéré par l’outil, chacun avec un id, une url, un titre et un extrait. L’autre est le message de l’assistant, c’est-à-dire le texte de la réponse. Les marqueurs entre crochets que tout le monde traite comme des citations se trouvent dans ce texte, et la page de référence de l’outil chez Perplexity indique que le fait que le modèle les ajoute ou non dépend du Prompt, et qu’il faut donc les demander explicitement. Elle dit ensuite aux développeurs sur quoi s’appuyer à la place : quels que soient les marqueurs, traitez les champs id et url de chaque entrée search_results comme la source de vérité pour les citations.
Lisez cela avec les yeux d’une marque. L’éditeur dit à ses propres développeurs que la citation visible ne fait pas autorité et que l’ensemble récupéré fait foi. Quiconque mesure la visibilité IA de l’extérieur ne voit jamais que la citation visible.
La même documentation déconseille de demander à un modèle d’émettre des URL dans une sortie structurée, parce qu’un modèle qui écrit des liens peut en produire de mal formés ou d’inventés, et renvoie les développeurs aux résultats de recherche. Le Tow Center a mesuré la version grand public de cet échec. Plus de la moitié des réponses de Gemini et de Grok 3 contenaient des URL inventées ou cassées, et 154 des 200 citations de Grok 3 aboutissaient à des pages d’erreur.
Une citation extraite par le système porte des positions de caractères
Mettez cela à côté d’une citation que le système calcule au lieu que le modèle ne l’écrive. La fonction Citations de l’API Claude d’Anthropic renvoie, pour chaque affirmation de la réponse, un bloc contenant le cited_text exact, l’index du document d’où il vient, et une position de caractère de début et de fin dans ce document. La documentation explique clairement pourquoi cette forme compte : comme l’API analyse les citations et extrait cited_text directement, les citations contiennent forcément des pointeurs valides vers les documents fournis.
L’API de grounding de Google pour Gemini est construite sur le même principe. Une réponse ancrée revient avec les recherches que le modèle a réellement exécutées, plus des annotations url_citation portant chacune un start_index et un end_index dans le texte de la réponse, pour que vous puissiez surligner le passage exact et nommer l’URL qui le sous-tend.
La mécanique existe donc. Une citation qui est un pointeur calculé par le système est vérifiable. Une citation qui est une chaîne écrite par le modèle est une affirmation, et elle mérite le même scepticisme que toutes les autres affirmations de la réponse. Les surfaces qu’utilisent réellement les acheteurs montrent surtout le second type.
Votre paragraphe sur le domaine de quelqu’un d’autre récolte le crédit
Le Tow Center a relevé un échec qui touche plus durement les marques que quiconque. Les outils citaient régulièrement des copies syndiquées ou republiées au lieu de l’original. Perplexity Pro citait des versions republiées d’articles du Texas Tribune dans trois requêtes sur dix, alors que Perplexity a un partenariat avec le Texas Tribune. ChatGPT citait une republication par Yahoo News d’un article de USA Today.
La version d’une marque est plus banale et bien plus fréquente. Votre page comparative explique la vraie différence entre deux niveaux d’offre. Un blog de classements la paraphrase. Quand quelqu’un pose la question de catégorie, le classement prend le lien, vos mots sont dans la réponse, et votre domaine n’apparaît nulle part sur la page.
Dans notre propre échantillonnage, sur une question « meilleur de la catégorie », dans la seule catégorie que nous avons testée, les listicles et classements représentaient environ 44 % des sources citées par ChatGPT. Ce sont nos chiffres, limités à ce que nous avons échantillonné. Ils correspondent toutefois à la forme du problème : les places de citation sont une surface réduite et disputée, et les pages tierces sont très douées pour les occuper.
Comptez trois constats au lieu d’un
Si la liste de liens est une lecture peu fiable de ce que le moteur a utilisé, un décompte unique de citations est le mauvais instrument. Trois questions se séparent nettement, et chacune mène ailleurs.
- La réponse vous a-t-elle mentionné ? La présence dans le texte est une mesure à part entière, et elle évolue indépendamment de l’apparition d’un lien.
- La réponse vous a-t-elle crédité, ou a-t-elle crédité une page qui reprenait votre contenu ? Dans le second cas, vous avez un problème de placement, et réécrire votre propre page n’y changera rien.
- Le moteur pouvait-il seulement vous atteindre ? Une citation manquante a assez souvent une explication banale, et une vérification de l’accessibilité aux robots tranche la question avant que quiconque ne réécrive quoi que ce soit.
Ce que nous faisons à ce sujet
C’est pourquoi Proofsource détecte les lacunes de citation et les citations fantômes au lieu de rapporter un seul chiffre, et pourquoi chaque donnée est étiquetée selon sa provenance : observée dans une réponse, ou générée. Une réponse qui vous cite sans lien et une réponse qui ne vous a jamais vu se ressemblent exactement dans un tableau de bord qui compte les liens.
C’est aussi pourquoi l’échantillonnage enregistre le texte de la réponse, pas seulement la liste des sources. Si votre formulation apparaît dans le texte alors que le domaine de quelqu’un d’autre apparaît dans les sources, c’est un constat, et c’est un autre chantier que de ne pas être récupéré.
Où cette analyse pourrait se tromper
Les tests du Tow Center ont eu lieu en février 2025 et ont été publiés en mars. Cela fait dix-huit mois, et chaque produit de l’ensemble a publié de nombreuses versions depuis. Prenez les 60 % comme la preuve que ce type d’échec est réel et mesurable, pas comme le taux d’erreur actuel. Nous ne l’avons pas refait.
La section des limites de l’étude indique que chaque requête n’a été exécutée qu’une fois, et que quiconque relancerait les mêmes Prompts obtiendrait très probablement des résultats différents. La précision de l’attribution est elle-même une mesure bruitée.
Coller un extrait et demander qui l’a écrit est une sonde de provenance, pas la façon dont un acheteur fait ses achats. Elle met directement l’attribution à l’épreuve, ce qui est son but, mais ne dit pas à quelle fréquence l’attribution échoue dans une question de catégorie ordinaire.
Le comportement d’API décrit ci-dessus concerne la surface développeurs. ChatGPT, AI Overviews et le site de Perplexity ne suivent pas forcément le même chemin de code, et nous raisonnons à partir du comportement documenté pour les développeurs plutôt que de l’intérieur des produits grand public.
Et la limite honnête de nos propres conseils : de l’extérieur, on ne peut pas toujours distinguer une page récupérée mais non créditée d’une page jamais récupérée. Vérifier l’accès des robots resserre la question. Chercher votre propre formulation dans le texte de la réponse la resserre encore. Aucun des deux ne la clôt.
