Eén controle die je noemde, past bij een echt percentage van 20,7%
De meest gebruikelijke manier waarop een merk ontdekt waar het staat in AI-zoeken, is dat iemand de vraag één keer stelt, het antwoord leest en ofwel ontspant ofwel in paniek raakt. Dat ene antwoord wordt daarna het getal dat iedereen in de volgende vergadering herhaalt.
Behandel het als wat het is. Eén vraag, één keer gesteld, met een uitkomst ja of nee, is een steekproef van grootte één uit een munt waarvan je de afwijking niet kent. Het Wilson-score-interval is de standaardmanier om zo’n proportie af te bakenen. Pas het toe op één succes uit één proef bij 95% betrouwbaarheid en het antwoord is 20,7% tot 100%.
Gewoon gezegd: een model dat je in één controle noemt, past volledig bij een model dat je in één op de vijf antwoorden zou noemen. Het screenshot kan die niet uit elkaar houden. Jij ook niet.
De misser is erger. Nul uit één geeft een interval van 0% tot 79,3%, en teams gooien op precies die basis routinematig een contentplan om.
Dezelfde Prompt geeft een ander antwoord door wie er nog meer vroeg
Dit zou er niet toe doen als engines deterministisch waren. Dat zijn ze niet, en de reden is specifieker dan het gebruikelijke gebaar naar toeval. OpenAI zegt het ronduit in zijn eigen API-richtlijnen: Chat Completions zijn standaard niet-deterministisch, wat betekent dat de uitvoer van het model per verzoek kan verschillen. Een seed levert je wat dezelfde pagina grotendeels deterministische uitvoer noemt, en OpenAI geeft een systeemvingerafdruk zodat je kunt zien wanneer een wijziging in de backend de grond onder je voeten heeft verschoven.
Thinking Machines Lab heeft het gemeten. In september 2025 bemonsterde het lab 1.000 voltooiingen van Qwen3-235B-A22B-Instruct-2507 bij temperatuur nul, wat greedy sampling is en in theorie perfect herhaalbaar zou moeten zijn, met de Prompt “Tell me about Richard Feynman”. Ze kregen 80 unieke voltooiingen, waarvan de meest voorkomende 78 keer verscheen. Alle 1.000 runs waren het eens over de eerste 102 tokens en gingen uiteen bij de 103e: 992 gingen verder met “Queens, New York” en 8 met “New York City”.
De oorzaak die ze aanwijzen, is geen toeval in de GPU. De kernels zijn van run tot run deterministisch, maar niet invariant voor de batch, dus een verzoek krijgt licht andere rekenkunde afhankelijk van de batch waarin het belandt, en de batchgrootte wordt bepaald door de belasting van de server. Hun conclusie is het waard twee keer te lezen: de belangrijkste reden dat bijna alle inferentie-endpoints van LLM’s niet-deterministisch zijn, is dat de belasting, en dus de batchgrootte, niet-deterministisch varieert.
Dat betekent dat het antwoord waarvan je een screenshot maakte deels afhangt van hoeveel vreemden in dezelfde seconde hetzelfde endpoint bevroegen. Dat is geen signaal over je merk.
Twintig steekproeven laten nog steeds een bereik van veertig punten over
Als je eenmaal accepteert dat een zichtbaarheidscijfer een proportie is die uit een steekproef wordt geschat, is de volgende vraag hoe groot de steekproef moet zijn. Het Wilson-interval beantwoordt die, en het antwoord maakt bescheiden. Alle gevallen hieronder gaan ervan uit dat het model je in 60% van de gevallen noemt:
- 5 steekproeven, 3 vermeldingen: 23,1% tot 88,2%. Een bereik van 65 punten. Je weet dat het merk bestaat.
- 20 steekproeven, 12 vermeldingen: 38,7% tot 78,1%. Een bereik van 39 punten, het grootste deel van de schaal.
- 40 steekproeven, 24 vermeldingen: 44,6% tot 73,7%. Nu kun je uitsluiten dat je onzichtbaar bent.
- 100 steekproeven, 60 vermeldingen: 50,2% tot 69,1%. Nog steeds 19 punten breed.
- 366 steekproeven: het eerste punt waarop het interval smaller wordt tot plus of min 5 punten. Plus of min 3 vraagt er 1.021.
De meeste gerapporteerde beweging in een dashboard voor AI-zichtbaarheid is niet gebeurd
Hier begint de rekenkunde geld te kosten. Bemonster een Prompt in week één 40 keer en zie 24 vermeldingen, en in week twee 40 keer en zie 32. Dat leest als een sprong van 60% naar 80%, en het staat vrijdag op een slide.
De twee intervallen zijn 44,6% tot 73,7% en 65,2% tot 89,5%. Ze overlappen. Een schommeling van 20 punten bij 40 steekproeven is nog geen resultaat, en het juiste om de zaal te vertellen is dat er niets is vastgesteld. Doe dat een paar keer en mensen stoppen met achter de ruis aan rennen.
Daarom laten we meldingen in Proofsource afhangen van het interval in plaats van de puntschatting, en daarom staat bij elk zichtbaarheidspercentage in onze rapporten een Wilson-interval. Een melding die afgaat als een getal een lijn passeert, gaat in een systeem met zoveel ruis voortdurend af. Een melding die afgaat als de intervallen uit elkaar gaan, gaat af als er iets is gebeurd.
Dezelfde logica geldt voor nul. Geen vermeldingen in 20 steekproeven laat een bovengrens van 16,1% over, en geen in 40 laat 8,8% over. Wil je beweren dat een engine je nooit noemt, dan is 40 steekproeven ongeveer waar die bewering iets begint te betekenen.
Gebruik het Wilson-interval, niet het interval dat je leerde
Eén technische opmerking, omdat het voor de hand liggende alternatief faalt in precies de gevallen die hier tellen. Het interval dat de meeste mensen leerden, is het Wald-interval, gebouwd op de gewone normale benadering. Bij één succes uit één proef meldt het 100% tot 100%, en bij nul uit één 0% tot 0%. Het vertelt je dat één controle zeker is, en dat is precies de fout die we proberen te herstellen.
Dit is goed gedocumenteerd. Het overzicht van Brown, Cai en DasGupta in Statistical Science vond dat de grillige dekking van het Wald-interval veel hardnekkiger is dan wordt aangenomen, dat de gebruikelijke voorschriften uit studieboeken over wanneer het veilig is misleidend en gebrekkig zijn en niet te vertrouwen, en ze raden Wilson aan voor kleine steekproeven. Antwoordengines bemonsteren is werken met kleine steekproeven, omdat elke Prompt die je volgt zijn eigen telling heeft.
Wat je maandag doet
Niets hiervan vraagt dat je iets koopt. Het vraagt dat je verandert wat je opschrijft.
- Rapporteer niet langer één controle. Is een screenshot het bewijs, dan is de bevinding dat het merk kan verschijnen, en meer niet.
- Kies een steekproefgrootte voordat je naar de data kijkt, en houd die elke periode gelijk. n veranderen tussen metingen maakt twee getallen onvergelijkbaar, ook als ze allebei eerlijk zijn.
- Rapporteer het interval, niet het punt. Een rij met 60% en een bereik van 45 tot 74 is moeilijker te overinterpreteren dan een rij met 60%.
- Zet de meldingsdrempel op het uiteengaan van intervallen, en spreid de steekproeven over dagen. Twee overlappende intervallen zijn geen verandering, hoe verschillend de middelpunten er ook uitzien.
Waar dit mis kan zitten
De Wilson-cijfers hierboven zijn exacte rekenkunde op opgegeven invoer, dus de getallen staan niet ter discussie. De aanname eronder wel. Wilson-intervallen gaan uit van onafhankelijke proeven met een vaste kans op succes, en herhaalde vragen aan een live engine zijn niet netjes onafhankelijk: personalisatie, caching, sessiecontext en een modelversie die midden in de week live gaat, schenden die allemaal. Zie deze intervallen als een ondergrens voor je onzekerheid, niet als volledige verantwoording ervan.
Het experiment van Thinking Machines draaide een zelf gehost model met open gewichten op de eigen stack van het lab, niet ChatGPT, Gemini of Perplexity. Het stelt het mechanisme vast, niet de variantie van een commercieel product, en geen van die leveranciers publiceert de zijne.
Het cijfer van 60% in de tabel met steekproefgroottes is illustratief. We kozen het omdat intervallen in het midden het breedst zijn, wat het het voorzichtige geval maakt. Een merk dat op 5% of 95% zit, heeft minder steekproeven nodig voor dezelfde absolute precisie.
Wat we zouden verdedigen, is de richting van de fout. Kleine steekproeven, losse controles en puntschattingen zonder intervallen duwen allemaal dezelfde kant op, richting geloven dat je iets hebt gemeten terwijl dat niet zo is.
