Chaque guide dit d’ouvrir une conversation vierge, puis décrit un acheteur en cinq échanges
La méthode standard pour vérifier si un moteur de réponse mentionne votre marque consiste à écrire un jeu de questions d’achat, à exécuter chacune dans une toute nouvelle conversation sans contexte préalable, et à noter qui a été mentionné. Nous faisons pareil, pour une bonne raison : une conversation que vous avez déjà orientée vers votre propre marque vous dit ce que dit un modèle préparé, pas ce que voit un acheteur à froid.
Lisez ensuite ce que ces mêmes guides disent que fait l’acheteur. Quelqu’un qui choisit un fournisseur demande quoi regarder, mentionne une contrainte, demande une comparaison, demande où acheter. Google considère que c’est la raison d’être du produit : sa page d’aide sur AI Mode indique que vous pouvez poser n’importe quelle question et obtenir une réponse, avec la possibilité d’approfondir par des questions de suivi. L’interaction autour de laquelle ces moteurs sont construits s’étend sur plusieurs échanges. Chaque chiffre de chaque rapport de visibilité IA est le chiffre du premier échange.
Une expérience de 200 000 conversations a constaté que la baisse arrive au deuxième échange
Il existe une grande mesure contrôlée de ce phénomène. Philippe Laban et Jennifer Neville chez Microsoft Research, avec Hiroaki Hayashi et Yingbo Zhou chez Salesforce Research, l’ont publiée le 9 mai 2025. Ils ont pris 600 instructions entièrement spécifiées dans six tâches de génération, les ont découpées en morceaux, et ont fait révéler par un utilisateur simulé au plus un morceau par échange. Quinze modèles, plus de 200 000 conversations simulées.
Des modèles qui obtenaient environ 90 % quand on leur donnait toute l’instruction en un message obtenaient environ 65 % quand la même information arrivait sur plusieurs échanges. En moyenne sur les modèles et les tâches, la dégradation était de 39 %, et chaque modèle se dégradait sur chaque tâche.
Découper une instruction pourrait simplement perdre de l’information à la réécriture. Ils l’ont contrôlé : rassembler les mêmes morceaux en une seule liste à puces obtenait 95,1 % du score d’origine. La réécriture ne coûte rien, les échanges coûtent tout. En faisant varier la finesse du découpage, de deux à huit morceaux, le dommage apparaissait dès deux et restait stable ensuite.
Les modèles ne sont pas devenus moins capables. Ils sont devenus moins reproductibles.
C’est la partie qui compte si vous rapportez un pourcentage à qui que ce soit. L’article sépare la performance en aptitude, le score au 90e centile sur des exécutions répétées, et en manque de fiabilité, l’écart entre le 90e et le 10e. L’aptitude multi-échanges a baissé d’environ 16 %. Le manque de fiabilité a augmenté de 112 %. La meilleure exécution multi-échanges vaut presque la meilleure exécution en un seul échange, et la pire est bien pire, avec un écart sur une instruction fixe d’environ 50 points en moyenne.
Aucun des remèdes habituels n’a aidé. o3 et DeepSeek R1 se sont perdus comme les autres, et les auteurs incriminent la longueur : les modèles de raisonnement écrivaient des réponses environ 33 % plus longues, emportant davantage de leurs propres hypothèses. Baisser la température réduisait le manque de fiabilité de 50 à 80 % en un seul échange et ne servait à rien en plusieurs échanges, où il restait autour de 30 % même ramenée à zéro.
Mettez cela en regard d’un rapport de visibilité. Une liste restreinte lue une fois au premier échange est déjà un échantillon d’un processus bruité, c’est pourquoi nous publions un intervalle à côté de chaque pourcentage. Une liste restreinte lue une fois au troisième échange est un échantillon d’un processus deux fois plus dispersé.
Votre liste restreinte du premier échange devient une donnée d’entrée du deuxième
OpenAI documente le mécanisme. Chaque requête est indépendante et sans état, et une conversation en plusieurs échanges fonctionne en renvoyant les messages précédents avec le nouveau. Même quand vous enchaînez les réponses par identifiant, note OpenAI, chaque jeton d’entrée précédent est de nouveau facturé comme jeton d’entrée. L’historique n’est pas mémorisé, il est renvoyé, y compris la réponse précédente de l’assistant lui-même.
Donc quand un acheteur pose une question de suivi, le modèle lit sa propre liste restreinte du premier échange comme une partie de l’entrée, et Laban et ses collègues citent la dépendance excessive aux tentatives de réponse précédentes comme l’une des quatre causes de l’effet. Ce qui pointe vers quelque chose que nous ne pouvons pas encore prouver : au premier échange, vous êtes en concurrence pour une place ; au deuxième, vous débattez avec une liste que le modèle a déjà écrite. Personne ne l’a mesuré sur des listes restreintes de marques. C’est la lecture sur laquelle nous parierions.
Ce que nous mesurons, et le chiffre qu’aucun de nous n’a
Proofsource échantillonne en un seul échange, par construction. Nous posons chaque Prompt à plusieurs reprises, évaluons la visibilité avec un intervalle de Wilson plutôt qu’un point, et proposons un rapport test-retest qui pose la même question deux jours de suite. Rien de tout cela n’échantillonne une question de suivi en tant que question de suivi. Aucun outil à notre connaissance ne le fait, le nôtre compris, et nous préférons l’écrire plutôt que de laisser croire à une couverture que nous n’avons pas.
Ce que nous pouvons montrer, c’est l’effet voisin : changez la question et l’ensemble mentionné change. Dans un rapport complet sur une seule marque d’une catégorie de logiciels professionnels, la question de catégorie renvoyait quatorze éditeurs et la marque n’en faisait pas partie. Interrogé sur elle par son nom, le même moteur la qualifiait de l’une des principales plateformes de sa catégorie et lui attribuait quatre à cinq étoiles. Sur seize formulations de cette même question commerciale, six concurrents apparaissaient dans onze ou plus, et la marque dans deux au plus. Ce sont nos chiffres, une marque et un moteur, et c’est un résultat de formulation, pas d’échange.
- Écrivez la question de suivi comme un Prompt à part entière. « Best project management tool » et « best project management tool for a twelve person team on no budget » sont deux Prompts, pas un.
- Mettez la contrainte dans le premier message. C’est le conseil de l’article aux utilisateurs, et le seul moyen d’obtenir une lecture comparable le mois prochain.
- Cessez de traiter une capture d’écran d’une conversation en trois échanges comme une preuve, dans un sens ou dans l’autre. C’est une exécution du réglage le moins reproductible que quiconque ait mesuré.
Où cette analyse pourrait se tromper
La plus grande lacune est la transposition. Les six tâches sont des fonctions Python, des requêtes SQL, des appels d’API, de l’arithmétique d’école primaire, des légendes de tableaux et des résumés ciblés. Aucune n’est « recommander un fournisseur ». L’article établit que les modèles perdent le fil des exigences qui arrivent sur plusieurs échanges et deviennent bien moins reproductibles quand cela arrive. Il n’établit pas que les listes restreintes de marques se comportent de la même façon. Nous pensons que oui, et nous ne l’avons pas mesuré.
Ses utilisateurs sont simulés par un petit modèle plutôt que par des personnes, et les tâches sont en anglais, en texte seul et analytiques. Les auteurs le reconnaissent, et soutiennent que leurs conditions sont assez favorables pour que la dégradation réelle soit probablement plus forte, ce qui appuie le sens mais ne dit rien de fiable sur l’ampleur. Ce sont aussi des modèles de 2025, et aucun des quatre moteurs que nous suivons ne publie de chiffre de fiabilité multi-échanges.
Nos chiffres sur seize formulations portent sur une marque, une catégorie, un moteur, un rapport. Ils montrent que la question décide de la liste, et ce n’est pas une mesure par échange. Nous n’avons pas non plus de chiffre sur la fréquence à laquelle une vraie conversation d’achat dépasse un échange : que Google présente les questions de suivi comme la raison d’être d’AI Mode est une déclaration de conception, pas une fréquence.
Ce que nous défendrions est étroit et un peu gênant pour nous. Ce que rapporte chaque produit de ce secteur, c’est le premier échange ; ce dont tout le monde parle, c’est la conversation ; et pour l’instant, aucun d’entre nous ne mesure la différence.
