Wat zijn steekproeven van AI-antwoorden?
Steekproeven van AI-antwoorden betekent dezelfde vragen meer dan eens aan elke AI-engine stellen en elk zichtbaarheidscijfer lezen als een schatting uit die steekproef, niet als een vast feit. Stel een AI-engine twee keer dezelfde vraag en je kunt twee verschillende shortlists krijgen. Daarom is geen enkel los antwoord een meting. Steekproeven nemen betekent een vaste set vragen steeds opnieuw stellen, op elke engine, en het aandeel antwoorden dat je noemt behandelen als een schatting met een bereik.
Waarom moet je AI-antwoorden bemonsteren?
Omdat de engines niet deterministisch zijn. De documentatie van OpenAI zegt dat Chat Completions standaard niet deterministisch is, dus de resultaten kunnen per verzoek verschillen (API-documentatie van OpenAI, geraadpleegd op 15 okt. 2026).
Zelfs bij temperatuur nul verschuift dezelfde Prompt. Thinking Machines Lab nam 1.000 antwoorden op één Prompt van een open model bij temperatuur nul en kreeg 80 verschillende antwoorden; het noemde als belangrijkste oorzaak dat de serverbelasting de batchgrootte verandert waarin elk verzoek terechtkomt (10 september 2025, Thinking Machines). Een deel van wat een antwoord zegt, hangt af van hoe druk de server was.
Hoeveel antwoorden zijn genoeg?
Genoeg om het interval smaller te maken dan de verandering die je wilt zien. Als een model je echt in 60% van de gevallen noemt, is dit de breedte van het 95%-Wilson-interval bij elke steekproefgrootte (de berekening):
| Antwoorden | Vermeldingen | 95%-interval | Breedte |
|---|---|---|---|
| 5 | 3 | 23,1% tot 88,2% | 65 punten |
| 20 | 12 | 38,7% tot 78,1% | 39 punten |
| 40 | 24 | 44,6% tot 73,7% | 29 punten |
| 100 | 60 | 50,2% tot 69,1% | 19 punten |
Hoe bemonster je AI-antwoorden eerlijk?
Leg de methode vast voordat je naar de resultaten kijkt, en houd hem elke periode gelijk:
- Dezelfde vragen, met dezelfde woorden, op elke engine, zodat een verschil tussen engines echt is.
- Vragen die je niet noemen, met de vragen met merknaam in een eigen set.
- Runs verspreid over meerdere dagen, niet in één keer, omdat antwoorden verschuiven met belasting en modelupdates.
- Letterlijke herhalingen van een eerder antwoord worden weggelaten: een herhaling is geen tweede trekking.
- Gevallen zonder antwoord, zoals wanneer er geen AI Overview verschijnt, worden weggelaten in plaats van als afwezigheid geteld.
Hoe ziet bemonsteren eruit in een echt voorbeeld?
Het openbare Tesla-voorbeeld (4 okt. 2026) stelde 25 koopvragen één keer op elk van vier engines: 100 antwoorden in totaal, maar slechts 25 per engine. Daarom heeft de 64% van ChatGPT een bereik van ongeveer 45% tot 80%.
Herhalen verandert het beeld. Over drie scandagen (4, 8 en 15 oktober) gaven vijf formuleringen van één vraag over Tesla-netopslag elk 12 nieuwe antwoorden: twee formuleringen noemden Tesla 12 van de 12 keer, één 7 van de 12 en twee nooit (het artikel). Eén run van één formulering had elk van die resultaten kunnen opleveren.
Hoe bemonstert Proofsource?
Een Proofsource-abonnement draait dagelijks of wekelijks. Met een dagelijks abonnement wordt elke gevolgde vraag één keer per engine per UTC-dag gesteld, en elk percentage heeft een Wilson-interval, zodat een beweging boven de ruis moet uitkomen voordat ze telt. Zie hoe vaak scans draaien en Prompts.
Veelgestelde vragen over Steekproeven van AI-antwoorden
Is één screenshot van ChatGPT genoeg om te weten of AI ons aanbeveelt?
Nee. Eén antwoord dat je noemt, past bij een werkelijk vermeldingspercentage van slechts ongeveer 21%, en één keer afwezig bij een percentage tot ongeveer 79%. Een screenshot laat zien dat iets kan gebeuren, niet hoe vaak het gebeurt.
Moet ik dezelfde vraag een paar keer achter elkaar stellen?
Verspreid de herhalingen liever over meerdere dagen. Verzoeken direct na elkaar kunnen uit de cache komen of zich herhalen, en een letterlijke herhaling is geen nieuwe steekproef.
Maken een seed of temperatuur nul antwoorden herhaalbaar?
Maar deels. OpenAI omschrijft resultaten met een seed als grotendeels deterministisch, en consumentenapps bieden geen van beide instellingen. Behandel elke engine als een bron van steekproeven.
Dagelijks of wekelijks bemonsteren?
Kies op basis van de beslissing. Wekelijks werkt voor een trend over een grote, vaste set vragen. Dagelijks helpt als de set klein is of als je een wijziging hebt doorgevoerd en wilt zien op welke dag de antwoorden verschoven en of de wijziging bleef staan.
Gerelateerde termen
- Wilson-interval
Een Wilson-interval is het bereik waarbinnen een gemeten percentage redelijkerwijs kan liggen, gegeven op hoeveel antwoorden het is gebaseerd.
- Volatiliteit van AI-antwoorden
Volatiliteit van AI-antwoorden is hoeveel de merken die een AI-engine noemt veranderen wanneer dezelfde vraag opnieuw wordt gesteld, of in andere woorden.
- Vermeldingspercentage
Het vermeldingspercentage is het aandeel AI-antwoorden op een vraag dat je merk noemt.
- Prompt
Bij AI-zichtbaarheid is een prompt een vraag die over AI-engines heen wordt gevolgd, geformuleerd zoals een koper die zou stellen.
Uitgewerkt voorbeeld: Tesla, openbare AI-antwoorden, 4 okt. 2026: de eerste scan van Tesla door Proofsource, met 25 koopvragen en 5 merkvragen, één antwoord per vraag op elk van vier engines. Een kleine steekproef van één merk, getoond als voorbeeld, niet als benchmark.
Zie waar AI je overslaat, en wat je moet verbeteren.
Zie welke koopvragen je merk noemen, wie in jouw plaats wordt genoemd en wat je moet verbeteren. 200 antwoorden. 25 Prompts/vraag. Top-AI-engines. 2 dagen. Gratis. Geen creditcard nodig.
Google AI OverviewsGoogle AI Mode
