Niemand vertelt je wat je moet doen met de twee getallen die al op je scherm staan
Je cijfer voor AI-zichtbaarheid bewoog. Vorige week zei de run dat 42% van je Prompts je noemde, deze week 30%. Twaalf punten. Voordat je gaat zoeken wat er stuk ging, staat er een kleinere vraag in de weg: is er wel echt iets gebeurd?
Het gepubliceerde advies is mager, en het gaat allemaal over je volgende meting. Neem meer steekproeven. Volg wekelijks in plaats van dagelijks. Houd de set Prompts vast. Verstandig genoeg, en geen hulp bij de twee metingen die je al hebt. Dus vallen de meeste mensen terug op wat het dashboard makkelijk maakt en kijken ze of de foutbalken overlappen. Dat is de verkeerde toets, en hij zit fout in de richting die bijna niemand verwacht.
Twee 95%-intervallen overlappen in meer dan 99% van de gevallen als er niets is veranderd
Mark Payton, Matthew Greenstone en Nathaniel Schenker rekenden dit in 2003 uit in het Journal of Insect Science. Neem twee steekproeven uit populaties die echt identiek zijn en zet een 95%-betrouwbaarheidsinterval rond elk. Hoe vaak overlappen die intervallen? Hun berekening voor grote steekproeven komt boven de 99% uit, en hun simulatie, 10.000 paren bij n=10, kwam op 0,995.
Controleren of 95%-intervallen overlappen is dus geen toets op 5%. Het lijkt meer op een toets op 1%. Je zult een verschil bijna nooit echt noemen, ook niet als het dat is.
Hetzelfde artikel behandelt ook het omgekeerde geval. Gewone standaardfoutbalken overlappen in 84,3% van de gevallen als er niets aan de hand is, dus die op het oog beoordelen is een toets met een kans op vals alarm van bijna 15%. Eén op de zes keer ga je op zoek naar een oorzaak die er niet is.
Ze geven ook de correctie. Wil je dat een overlapcontrole zich gedraagt als een toets op 5%, bij ongeveer gelijke standaardfouten, dan moeten de intervallen ongeveer 83% of 84% breed zijn. Bij n=10 overlapten hun 84%-intervallen in 94,9% van de gevallen, en dat is de 5% die je zocht.
Eén daling, drie oordelen, en de sector gebruikt het stilste
Zet echte rekenkunde op die beweging van 42% naar 30%. Stel dat het 200 Prompts zijn tegen één engine, 84 die je noemen in de eerste run en 60 in de tweede.
- 95%-Wilson-intervallen: 42% ligt tussen 35,4% en 48,9%, en 30% tussen 24,1% en 36,7%. Ze overlappen ongeveer één punt. Oordeel: niets aan de hand.
- Een standaardtoets voor twee proporties op dezelfde twee getallen: z = 2,50, p = 0,012. Oordeel: echt.
- 84%-Wilson-intervallen, volgens de correctie hierboven: 37,2% tot 47,0% tegenover 25,7% tot 34,7%. Netjes gescheiden. Oordeel: echt, en nu klopt het met de toets, en dat is precies het doel van de aanpassing.
Dezelfde Prompts twee keer draaien is een gepaarde meting, en in het paren zit de kracht
Onder alle drie zit een grotere fout. Een toets voor twee proporties behandelt de runs als onafhankelijke steekproeven. Dat zijn ze niet. Draai dezelfde 200 Prompts opnieuw tegen dezelfde engine en elke Prompt is twee keer gemeten, dus de vergelijking hoort Prompt voor Prompt.
De meeste Prompts zullen niet zijn bewogen, en de Prompts die je beide keren of geen van beide keren noemden, zeggen niets over een verandering. Alle informatie zit in de Prompts die omsloegen.
Stel dat 30 Prompts je lieten vallen en 6 je oppikten. Hetzelfde netto van 24 Prompts, dezelfde 12 punten. De McNemar-toets op die 36 omslagen, de standaardtoets voor gepaarde binaire data, geeft een chikwadraat van 16,0 bij 1 vrijheidsgraad, dus p is ongeveer 0,00006. De onafhankelijke toets op identieke data zei 0,012. Paren gooide de variantie weg die komt doordat Prompts van elkaar verschillen, en liet de variantie over waar je echt naar vroeg.
Verander je je set Prompts tussen runs, dan geef je dat op, en geen enkele statistiek geeft het terug. Houd de set vast en begin nieuwe Prompts als een eigen reeks.
Onze meldingen gebruiken ook de voorzichtige drempel, en dit kost het je
Onze meldingsregels vragen twee dingen. De Wilson-intervallen van de oude en de nieuwe score mogen niet overlappen, en de beweging moet boven een drempel uitkomen die je zelf instelt, in een richting die je kiest. De intervalcontrole komt eerst, dus als de balken elkaar raken, gaat er niets af, wat de drempel ook zegt.
Dat is de voorzichtige drempel en we kozen hem bewust. Een melding die niemand vertrouwt, is erger dan geen melding. Volgens de cijfers hierboven is het wel ongeveer een toets op 1%, dus de daling van 12 punten in het uitgewerkte voorbeeld passeert in stilte. Een echte kostenpost, en we schrijven hem liever op dan dat jij hem ontdekt.
Onder de rekenkunde ligt een bodem die belangrijker is. Draai een identieke set Prompts opnieuw tegen een site waar niemand aan zat en het getal beweegt nog steeds, omdat de engines zichzelf niet herhalen. De eigen documentatie van OpenAI zegt het ronduit: chat completions zijn standaard niet-deterministisch, en zelfs met een vaste seed zal hun systeem “zijn best doen om deterministisch te bemonsteren” en “is determinisme niet gegarandeerd”. In onze eigen bemonstering zagen we van de ene dag op de andere 9 tot 27% van de genoemde set wisselen, afhankelijk van de engine. En dat terwijl niemand iets publiceerde.
Daarom draait Proofsource een test-hertestrapport: dezelfde vaste Prompts, dezelfde engine, twee keer per dag, op een site die niet is veranderd. Het geeft je de grootte van je eigen ruis voordat je er een drempel bovenop zet. Sla dat over en je drempel is een gok.
Waar dit mis kan zitten
Payton en collega’s leidden hun resultaat af voor gemiddelden uit normale populaties, met gelijke standaardfouten en een grote steekproef. Zichtbaarheid is een proportie, en een Wilson-interval wordt scheef bij 0% en 100%. De richting gaat netjes mee, overlap bij 95% is veel te voorzichtig voor een toets op 5%, maar zie 83 tot 84% voor ons geval als vuistregel en niet als bewijs. Draai dicht bij de uitersten de toets zelf.
Het uitgewerkte voorbeeld is rekenkunde, geen meting. De 200 Prompts, de 84 en 60, de 30 omslagen tegenover 6 zijn getallen die we kozen omdat ze kloppen en het verschil laten zien. Die van jou zijn anders, en naar de verdeling moet je kijken.
Statistische significantie en “dit heb jij veroorzaakt” zijn aparte beweringen, en alleen de eerste valt hier binnen het bereik. Een p van 0,00006 tegen bemonsteringsruis zegt dat het gedrag van de engine tussen de twee runs veranderde. Het zegt niets over waarom. Met de wisselingen die we meten, kan een significante beweging nog steeds de engine zijn die vanzelf verschuift.
Het cijfer van 9 tot 27% is van ons. Het is wat we zagen bij de engines die we bemonsteren, geen gepubliceerde constante, en het vervangt het meten van je eigen cijfer niet.
