Opnieuw gesteld bleef het merk in 78% van de gevallen. Geherformuleerd in 55%
Het meeste advies over het testen van koopvragen zegt dat je elke Prompt drie tot vijf keer moet stellen, omdat antwoorden per run verschillen. We wilden weten wat een meting meer beweegt, die schommeling of de formulering, dus maten we allebei op dezelfde data.
De steekproef: 13.994 antwoorden uit Proofsource-werkruimtes tussen 4 en 15 oktober 2026. Dat zijn 96 merken in 69 werkruimtes en 1.908 koopvragen op ChatGPT, Perplexity, Claude en Google AI Overviews, het eerste antwoord per vraag, engine en dag, zonder vragen die het merk noemen. De vragen van elk merk zitten in onderwerpen, elk één koopbeslissing, meestal op drie tot vijf manieren geformuleerd.
Neem elk antwoord dat het merk noemde. Kijk dan naar dezelfde vraag op dezelfde engine de volgende keer dat we hem stelden. 448 van de 578 noemden het merk nog steeds, 77,5% (95%-interval 73,9% tot 80,7%). We lieten 55 paren weg waarbij de engine het eerdere antwoord woord voor woord teruggaf, omdat een herhaling geen tweede trekking is.
Kijk nu naar de andere formuleringen van dezelfde beslissing, op dezelfde engine, op dezelfde dag. 3.270 van de 5.934 noemden het merk, 55,1%. Dat één formulering je noemde, voorspelde haar verwante formuleringen slechter dan zichzelf op een andere dag.
Alle 15 merken met genoeg data lieten hetzelfde verschil zien
Samengevoegde cijfers kunnen verbergen dat één groot merk al het werk doet, dus rekenden we het per merk door: 15 merken hadden minstens tien paren van elk soort. Bij alle 15 noemde een verwante formulering het merk minder vaak dan een herhaling van dezelfde formulering. Het mediane merk behield zijn naam bij 35% van de verwante formuleringen en bij 70% van de herhalingen.
Concurrenten gedragen zich hetzelfde. Een gevolgde concurrent die in één antwoord werd genoemd, werd die dag bij een verwante formulering in 40,2% van de gevallen genoemd (24.840 van 61.804), en bij dezelfde formulering de volgende keer in 77,0% (7.347 van 9.539).
Vanuit het onderwerp bekeken is het nog duidelijker. Op 840 dagen waarop een merk bij minstens één formulering van een onderwerp op een engine werd genoemd, werd het maar 102 keer bij elke formulering genoemd. De andere 738, 87,9%, waren verdeeld.
Head-to-headvragen noemden het merk in 2,9% van de antwoorden
Een deel van dat verschil komt van één vorm van vraag. Een koper die “concurrent A vs concurrent B” vraagt, krijgt een antwoord over A en B. In 1.822 van zulke antwoorden werd het merk 53 keer genoemd, 2,9% (2,2% tot 3,8%). Vragen naar alternatieven voor een bepaalde concurrent deden het veel beter met 14,9%, net als vragen met een beperking op prijs of teamgrootte (15,1%) en gewone “wat is de beste”-vragen (13,9%).
Head-to-headvragen eruit halen verkleint het verschil zonder het te dichten: verwante formuleringen noemden het merk dan in 62,9% van de gevallen (2.984 van 4.746), nog steeds ruim onder 77,5%.
Vijf manieren om naar netbatterijen te vragen, waarvan twee Tesla nooit noemden
Tesla is ons openbare uitgewerkte voorbeeld. Het onderwerp netopslag heeft vijf formuleringen van één beslissing, vier engines en drie scandagen (4, 8 en 15 oktober; de antwoorden van 5 oktober herhaalden die van 4 oktober woord voor woord en tellen niet mee), dus 12 nieuwe antwoorden per formulering.
- “What are the best grid-scale battery storage systems for a utility company?” Tesla genoemd in 12 van 12.
- Beste alternatieven voor een bepaalde concurrent voor opslag op netschaal: 12 van 12.
- “Which commercial battery energy storage system should I choose for peak shaving at a large facility?” 7 van 12, en geen enkele op Claude.
- “How much does a utility-scale lithium iron phosphate battery storage system cost per MWh?” 0 van 12.
- “What should I look for when comparing turnkey battery storage providers for a solar farm?” 0 van 12.
Een formulering verliezen aan niemand is een ander probleem
Die laatste twee nullen zijn geen concurrent die Tesla verslaat. Geen van de 24 antwoorden noemde Tesla of een van de leveranciers die de andere drie formuleringen noemden. De engines antwoordden met prijzen per MWh en checklists voor inkoop. Een koper die zo vraagt, krijgt criteria, en wie de criteria schreef, bepaalt de shortlist die hij later maakt.
Verdeel dus bij het testen van formuleringen elke verloren formulering over twee stapels. Iemand anders werd genoemd: je hebt een shortlist om op te komen, en de pagina’s die de engine citeerde vertellen waar. Niemand werd genoemd: je hebt een gids te schrijven, het soort pagina dat een engine citeert als hij uitlegt hoe je kiest.
Hoe je formuleringen test, met dit alles in gedachten
Schrijf formuleringen per vorm. “best” vervangen door “top” test heel weinig. Dek de vormen af die een koper doorloopt: de open “wat is de beste”-vraag, dezelfde vraag met een beperking, alternatieven voor een bepaalde concurrent en de vraag naar kosten of criteria.
- Rapporteer elke formulering apart voordat je middelt. Een onderwerpscore mengt een 12 van 12 en een 0 van 12 tot een middelmatig getal dat geen van beide beschrijft.
- Houd head-to-headvragen in een eigen groep. Ze zijn het weten waard, en ze trekken elk gemiddelde omlaag.
- Herhaal elke formulering op verschillende dagen, en laat antwoorden weg die woord voor woord herhalingen zijn.
- Verbeter de formulering die verliest, en stel daarna precies die bewoording opnieuw. Winst bij een verwante formulering telt niet.
Hoe Proofsource dit aanpakt
Proofsource volgt elke formulering als een eigen vraag, gegroepeerd in onderwerpen, op elke engine in het abonnement. Voor elk antwoord legt het de genoemde merken en de geciteerde pagina’s vast, zodat een verliezende formulering laat zien wie in jouw plaats werd genoemd, of dat niemand werd genoemd.
Waar dit mis kan zitten
Op 18 na werden alle 1.908 formuleringen door Proofsource gegenereerd op basis van de site en de concurrenten van elk merk, dus ze volgen onze vormen. Echte kopers formuleren dingen op manieren die we niet testten. De meeste vragen werden op één of twee dagen gesteld, een paar op maximaal elf, dus het herhalingscijfer rust op 578 paren en leunt op merken met een langere geschiedenis.
De aantallen paren zijn niet onafhankelijk: één antwoord kan in meerdere paren voorkomen, dus geven we alleen intervallen waar elk aantal uit afzonderlijke antwoorden bestaat, en leunen we voor de hoofdvergelijking op de controle per merk. “Genoemd” is onze extractie die het antwoord leest, en een misser verschijnt aan beide kanten als verschil. Twaalf dagen in oktober is één momentopname, en een modelupdate kan alles hiervan verschuiven.
