Reposée, la marque restait dans 78 % des cas. Reformulée, dans 55 %
La plupart des conseils pour tester des questions d’achat disent de poser chaque Prompt trois à cinq fois, parce que les réponses varient d’une exécution à l’autre. Nous voulions savoir ce qui fait le plus bouger une lecture, cette variation ou la formulation, et nous avons donc mesuré les deux sur les mêmes données.
L’échantillon : 13 994 réponses des espaces de travail Proofsource entre le 4 et le 15 octobre 2026. Soit 96 marques dans 69 espaces de travail et 1 908 questions d’achat sur ChatGPT, Perplexity, Claude et Google AI Overviews, première réponse par question, moteur et jour, en excluant les questions qui nomment la marque. Les questions de chaque marque sont regroupées en sujets, une décision d’achat chacun, généralement formulée de trois à cinq façons.
Prenez chaque réponse qui mentionnait la marque. Regardez ensuite la même question sur le même moteur la fois suivante où nous l’avons posée. 448 sur 578 mentionnaient encore la marque, soit 77,5 % (intervalle à 95 % de 73,9 % à 80,7 %). Nous avons écarté 55 paires où le moteur renvoyait mot pour mot la réponse précédente, puisqu’une rediffusion n’est pas un second tirage.
Regardez maintenant les autres formulations de la même décision, sur le même moteur, le même jour. 3 270 sur 5 934 mentionnaient la marque, soit 55,1 %. Qu’une formulation vous mentionne renseignait moins bien sur ses voisines que sur elle-même un autre jour.
Les 15 marques disposant d’assez de données montraient le même écart
Des chiffres agrégés peuvent cacher une grosse marque qui fait tout le travail, nous avons donc refait l’analyse par marque : 15 marques avaient au moins dix paires de chaque type. Pour les 15, une formulation voisine mentionnait la marque moins souvent que la répétition de la même formulation. La marque médiane gardait son nom sur 35 % des formulations voisines et 70 % des répétitions.
Les concurrents se comportent de la même façon. Un concurrent suivi mentionné dans une réponse l’était sur une formulation voisine le même jour dans 40,2 % des cas (24 840 sur 61 804), et sur la même formulation la fois suivante dans 77,0 % (7 347 sur 9 539).
Vu du côté des sujets, c’est encore plus net. Sur 840 jours où une marque était mentionnée sur au moins une formulation d’un sujet sur un moteur, elle n’était mentionnée sur toutes les formulations que 102 fois. Les 738 autres, soit 87,9 %, étaient partagés.
Les questions de comparaison directe mentionnaient la marque dans 2,9 % des réponses
Une partie de cet écart vient d’une forme de question. Un acheteur qui demande « concurrent A vs concurrent B » obtient une réponse sur A et B. Sur 1 822 réponses de ce type, la marque était mentionnée dans 53, soit 2,9 % (de 2,2 % à 3,8 %). Les questions demandant des alternatives à un concurrent nommé faisaient bien mieux, à 14,9 %, tout comme les questions avec une contrainte de prix ou de taille d’équipe (15,1 %) et les simples questions « quel est le meilleur » (13,9 %).
Retirer les questions de comparaison directe réduit l’écart sans le combler : les formulations voisines mentionnaient alors la marque dans 62,9 % des cas (2 984 sur 4 746), toujours bien en dessous de 77,5 %.
Cinq façons de demander des batteries de réseau, dont deux n’ont jamais mentionné Tesla
Tesla est notre exemple public commenté. Son sujet stockage pour le réseau compte cinq formulations d’une même décision, quatre moteurs, trois jours d’analyse (les 4, 8 et 15 octobre ; les réponses du 5 octobre répétaient mot pour mot celles du 4 et ne sont pas comptées), soit 12 réponses fraîches par formulation.
- « What are the best grid-scale battery storage systems for a utility company? » Tesla mentionnée dans 12 sur 12.
- Meilleures alternatives à un concurrent nommé pour le stockage à l’échelle d’un fournisseur d’énergie : 12 sur 12.
- « Which commercial battery energy storage system should I choose for peak shaving at a large facility? » 7 sur 12, et aucune sur Claude.
- « How much does a utility-scale lithium iron phosphate battery storage system cost per MWh? » 0 sur 12.
- « What should I look for when comparing turnkey battery storage providers for a solar farm? » 0 sur 12.
Perdre une formulation au profit de personne est un autre problème
Ces deux derniers zéros ne sont pas un concurrent qui bat Tesla. Aucune des 24 réponses ne mentionnait Tesla ni aucun des fournisseurs mentionnés par les trois autres formulations. Les moteurs répondaient avec des prix par MWh et des listes de critères d’achat. Un acheteur qui pose la question ainsi obtient des critères, et celui qui a écrit les critères façonne la liste restreinte qu’il construira ensuite.
Quand vous testez des formulations, rangez donc chaque formulation perdante dans l’une de deux piles. Quelqu’un d’autre a été mentionné : vous avez une liste restreinte à intégrer, et les pages citées par le moteur vous disent où. Personne n’a été mentionné : vous avez un guide à écrire, le genre de page qu’un moteur cite quand il explique comment choisir.
Comment tester des formulations, compte tenu de tout cela
Écrivez les formulations par forme. Remplacer « best » par « top » ne teste presque rien. Couvrez les formes par lesquelles passe un acheteur : la question ouverte « quel est le meilleur », la même question avec une contrainte, les alternatives à un concurrent nommé, et la question de coût ou de critères.
- Rapportez chaque formulation séparément avant d’en faire la moyenne. Un score par sujet mélange un 12 sur 12 et un 0 sur 12 en un chiffre moyen qui ne décrit ni l’un ni l’autre.
- Gardez les questions de comparaison directe dans un groupe à part. Elles valent la peine d’être connues, et elles tireront toute moyenne vers le bas.
- Répétez chaque formulation sur des jours différents, puis écartez les réponses qui sont des rediffusions mot pour mot.
- Corrigez la formulation qui perd, puis reposez exactement cette formulation. Une victoire sur sa voisine ne compte pas.
Comment Proofsource s’en charge
Proofsource suit chaque formulation comme une question à part entière, regroupée en sujets, sur chaque moteur de l’offre. Pour chaque réponse, il enregistre les marques mentionnées et les pages citées, si bien qu’une formulation perdante montre qui a été mentionné à votre place, ou que personne ne l’a été.
Où cette analyse pourrait se tromper
Toutes les formulations sauf 18 sur 1 908 ont été générées par Proofsource à partir du site et des concurrents de chaque marque, elles suivent donc nos formes. Les vrais acheteurs formulent les choses d’une manière que nous n’avons pas testée. La plupart des questions ont été posées un ou deux jours, quelques-unes jusqu’à onze, donc le chiffre des répétitions repose sur 578 paires et s’appuie sur les marques à l’historique plus long.
Les décomptes de paires ne sont pas indépendants : une même réponse peut figurer dans plusieurs paires, nous n’avons donc donné d’intervalles que là où chaque décompte porte sur des réponses distinctes, et nous nous sommes appuyés sur la vérification par marque pour la comparaison principale. « Mentionnée » correspond à la lecture de notre extraction, et un oubli apparaît comme une différence d’un côté ou de l’autre. Douze jours en octobre, c’est une tranche, et une mise à jour de modèle pourrait déplacer n’importe quel chiffre.
