Elke gids zegt: begin een nieuwe chat, en beschrijft daarna een koper met vijf beurten
De standaardmanier om te controleren of een antwoordengine je merk noemt, is een set koopvragen schrijven, elke vraag in een gloednieuwe chat zonder eerdere context draaien en vastleggen wie werd genoemd. Wij doen dat ook, om een goede reden: een chat die je al richting je eigen merk hebt gestuurd, vertelt je wat een opgewarmd model zegt, niet wat een koude koper ziet.
Lees dan wat dezelfde gidsen zeggen dat de koper doet. Iemand die een leverancier kiest, vraagt waar hij op moet letten, noemt een beperking, vraagt om een vergelijking, vraagt waar hij kan kopen. Google behandelt dat als het punt van het product: de helppagina van AI Mode zegt dat je alles kunt vragen en een antwoord krijgt, met de mogelijkheid om met vervolgvragen dieper te gaan. De interactie waar deze engines omheen zijn gebouwd, loopt over meerdere beurten. Elk getal in elk rapport over AI-zichtbaarheid is het getal van de eerste beurt.
Een experiment met 200.000 gesprekken vond dat de daling bij de tweede beurt komt
Er bestaat één grote gecontroleerde meting hiervan. Philippe Laban en Jennifer Neville van Microsoft Research publiceerden die, met Hiroaki Hayashi en Yingbo Zhou van Salesforce Research, op 9 mei 2025. Ze namen 600 volledig gespecificeerde instructies verspreid over zes generatietaken, splitsten elke instructie op in stukken en lieten een gesimuleerde gebruiker per beurt hoogstens één stuk onthullen. Vijftien modellen, meer dan 200.000 gesimuleerde gesprekken.
Modellen die rond de 90% scoorden als ze de hele instructie in één bericht kregen, scoorden rond de 65% als dezelfde informatie over meerdere beurten binnenkwam. Gemiddeld over modellen en taken was de achteruitgang 39%, en elk model ging bij elke taak achteruit.
Een instructie opsplitsen zou bij het herschrijven gewoon informatie kunnen verliezen. Daarvoor controleerden ze: dezelfde stukken weer samenvoegen tot één opsommingslijst scoorde 95,1% van het origineel. Het herschrijven kost niets, de beurten kosten alles. Toen ze varieerden hoe fijn ze opsplitsten, van twee stukken tot acht, verscheen de schade bij twee en bleef daarna gelijk.
De modellen werden niet minder capabel. Ze werden minder herhaalbaar.
Dit is het deel dat ertoe doet als je iemand een percentage rapporteert. De paper splitst prestatie op in aanleg, de score van het 90e percentiel over herhaalde runs, en onbetrouwbaarheid, het gat tussen het 90e en het 10e. De aanleg bij meerdere beurten daalde ongeveer 16%. De onbetrouwbaarheid steeg 112%. De beste run met meerdere beurten is bijna zo goed als de beste run met één beurt en de slechtste is veel slechter, met een spreiding bij een vaste instructie van gemiddeld ongeveer 50 punten.
Geen van de gebruikelijke remedies hielp. o3 en DeepSeek R1 raakten de draad kwijt zoals alle andere, en de auteurs wijten dat aan lengte: redeneermodellen schreven antwoorden die ongeveer 33% langer waren en droegen meer van hun eigen aannames mee. De temperatuur verlagen verminderde de onbetrouwbaarheid met 50 tot 80% bij één beurt en deed niets nuttigs bij meerdere beurten, waar die rond 30% bleef, zelfs op nul gezet.
Lees dat naast een zichtbaarheidsrapport. Een shortlist die één keer in de eerste beurt wordt gelezen, is al één steekproef van een proces met ruis, en daarom publiceren we een interval naast elk percentage. Een shortlist die één keer in de derde beurt wordt gelezen, is één steekproef van een proces met twee keer zoveel spreiding.
Je shortlist uit de eerste beurt wordt invoer voor de tweede
OpenAI documenteert het mechanisme. Elk verzoek is onafhankelijk en zonder toestand, en een gesprek met meerdere beurten werkt doordat de eerdere berichten samen met het nieuwe opnieuw worden meegestuurd. Ook als je antwoorden via een ID aan elkaar koppelt, merkt OpenAI op, wordt elk eerder invoertoken opnieuw als invoertoken gefactureerd. De geschiedenis wordt niet onthouden maar opnieuw gestuurd, en daar hoort het eigen eerdere antwoord van de assistent bij.
Als een koper een vervolgvraag stelt, leest het model dus zijn eigen shortlist uit de eerste beurt als deel van de invoer, en Laban en collega’s noemen te veel leunen op eerdere antwoordpogingen als een van de vier oorzaken van het effect. Dat wijst naar iets wat we nog niet kunnen bewijzen: in de eerste beurt strijd je om een plek, in de tweede beurt discussieer je met een lijst die het model al heeft geschreven. Niemand heeft dat bij shortlists van merken gemeten. Het is de lezing waar we op zouden wedden.
Wat we meten, en het getal dat niemand van ons heeft
Proofsource bemonstert per definitie één beurt. We stellen elke Prompt herhaaldelijk, scoren zichtbaarheid met een Wilson-interval in plaats van een punt, en draaien een test-hertestrapport dat dezelfde vraag twee dagen achter elkaar stelt. Niets daarvan bemonstert een vervolgvraag als vervolgvraag. Geen enkele tool die we kennen doet dat, de onze inbegrepen, en dat schrijven we liever op dan dekking te suggereren die we niet hebben.
Wat we wel kunnen laten zien, is het naburige effect: verander de vraag en de set genoemde namen verandert. In één volledig rapport over één merk in een categorie zakelijke software gaf de categorievraag veertien leveranciers terug en het merk zat er niet bij. Gevraagd bij naam noemde dezelfde engine het een van de toonaangevende platforms in zijn categorie en gaf het vier tot vijf sterren. Over zestien formuleringen van die ene commerciële vraag verschenen zes concurrenten in elf of meer, en het merk in hoogstens twee. Dat is van ons, één merk en één engine, en het is een resultaat van formulering, geen resultaat van beurten.
- Schrijf de vervolgvraag als een eigen Prompt. “Beste projectmanagementtool” en “beste projectmanagementtool voor een team van twaalf zonder budget” zijn twee Prompts, niet één.
- Zet de beperking in het eerste bericht. Dat is het advies van de paper aan gebruikers, en de enige manier om een meting te krijgen die je volgende maand kunt vergelijken.
- Behandel een screenshot van een gesprek met drie beurten niet langer als bewijs, in beide richtingen. Het is één run van de minst herhaalbare situatie die iemand heeft gemeten.
Waar dit mis kan zitten
Het grootste gat is de overdracht. De zes taken zijn Python-functies, SQL-query’s, API-aanroepen, rekensommen van de basisschool, tabelbijschriften en samenvattingen gericht op een vraag. Geen ervan is een leverancier aanbevelen. De paper toont aan dat modellen eisen kwijtraken die over meerdere beurten binnenkomen en dan veel minder herhaalbaar worden. Ze toont niet aan dat shortlists van merken zich net zo gedragen. Wij denken van wel, en we hebben het niet gemeten.
De gebruikers worden gesimuleerd door een klein model in plaats van door mensen, en de taken zijn Engelstalig, alleen tekst en analytisch. De auteurs noemen dat allemaal, en betogen dat hun omstandigheden mild genoeg zijn dat de echte achteruitgang waarschijnlijk groter is, wat de richting steunt en niets betrouwbaars over de grootte zegt. Het zijn ook modellen uit 2025, en geen van de vier engines die we volgen, publiceert een eigen cijfer voor betrouwbaarheid over meerdere beurten.
Onze cijfers over zestien formuleringen zijn één merk, één categorie, één engine en één rapport. Ze laten zien dat de vraag de lijst bepaalt, en ze zijn geen meting van beurten. We hebben ook geen cijfer voor hoe vaak een echt koopgesprek verder gaat dan één beurt: dat Google vervolgvragen het punt van AI Mode noemt, is een ontwerpkeuze, geen frequentie.
Wat we zouden verdedigen, is smal en voor ons een beetje ongemakkelijk. Wat elk product in deze categorie rapporteert, is de eerste beurt, waar iedereen over praat is het gesprek, en op dit moment meet niemand van ons het verschil.
