Nessuno ti dice cosa fare con i due numeri che hai già sullo schermo
Il tuo dato di visibilità nell’IA si è mosso. L’esecuzione della settimana scorsa diceva che il 42% dei tuoi prompt ti menzionava, quella di questa settimana dice il 30%. Dodici punti. Prima di andare a cercare cosa si è rotto, c’è una domanda più piccola da porsi: è successo davvero qualcosa?
I consigli pubblicati sono scarni, e riguardano tutti la tua prossima misurazione. Esegui più campioni. Monitora ogni settimana invece che ogni giorno. Tieni fisso l’insieme dei prompt. Sensato, e nessun aiuto con le due letture che hai già. Così la maggior parte delle persone ripiega su ciò che la dashboard rende facile e controlla se le barre di errore si sovrappongono. È il test sbagliato, e sbaglia nella direzione che quasi nessuno si aspetta.
Due intervalli al 95% si sovrappongono più del 99% delle volte quando non è cambiato nulla
Mark Payton, Matthew Greenstone e Nathaniel Schenker lo hanno dimostrato sul Journal of Insect Science nel 2003. Prendi due campioni da popolazioni davvero identiche e metti un intervallo di confidenza al 95% su ciascuno. Quanto spesso quegli intervalli si sovrappongono? Il loro calcolo per grandi campioni dà più del 99%, e la loro simulazione, 10.000 coppie con n=10, ha dato 0,995.
Quindi controllare se due intervalli al 95% si sovrappongono non è un test al 5%. È più vicino a un test all’1%. Non dichiarerai quasi mai reale una differenza, anche quando lo è.
Lo stesso articolo esamina il caso opposto. Le semplici barre dell’errore standard si sovrappongono l’84,3% delle volte quando non succede niente, quindi valutarle a occhio è un test con un tasso di falsi allarmi vicino al 15%. Una volta su sei vai a cercare una causa che non c’è.
Danno anche la correzione. Perché un controllo di sovrapposizione si comporti come un test al 5%, con errori standard più o meno uguali, gli intervalli devono essere ampi circa l’83% o l’84%. Con n=10 i loro intervalli all’84% si sono sovrapposti il 94,9% delle volte, cioè il 5% che cercavi.
Un calo, tre verdetti, e il settore usa il più silenzioso
Facciamo dei calcoli veri su quel passaggio dal 42% al 30%. Diciamo che sono 200 prompt su un motore, 84 che ti menzionano nella prima esecuzione e 60 nella seconda.
- Intervalli di Wilson al 95%: il 42% sta tra il 35,4% e il 48,9%, e il 30% tra il 24,1% e il 36,7%. Si sovrappongono di circa un punto. Verdetto: niente da vedere.
- Un test standard su due proporzioni con gli stessi due numeri: z = 2,50, p = 0,012. Verdetto: reale.
- Intervalli di Wilson all’84%, secondo la correzione sopra: dal 37,2% al 47,0% contro dal 25,7% al 34,7%. Nettamente separati. Verdetto: reale, e ora concorda con il test, che è lo scopo della correzione.
Gli stessi prompt eseguiti due volte sono una misurazione appaiata, ed è nell’appaiamento che sta la potenza
Sotto tutti e tre c’è un errore più grande. Un test su due proporzioni tratta le esecuzioni come campioni indipendenti. Non lo sono. Riesegui gli stessi 200 prompt sullo stesso motore e ogni prompt è stato misurato due volte, quindi il confronto va fatto prompt per prompt.
La maggior parte dei prompt non si sarà mossa, e quelli che ti hanno menzionato entrambe le volte o nessuna non dicono nulla su un cambiamento. L’informazione sta interamente nei prompt che si sono ribaltati.
Diciamo che 30 prompt ti hanno perso e 6 ti hanno guadagnato. Stesso saldo di 24 prompt, stessi 12 punti. Il test di McNemar su quei 36 ribaltamenti, il test standard per dati binari appaiati, dà un chi quadro di 16,0 con 1 grado di libertà, quindi p è circa 0,00006. Il test indipendente sugli stessi dati diceva 0,012. L’appaiamento ha eliminato la varianza che deriva dalle differenze tra i prompt, e ha lasciato la varianza su cui ti stavi davvero interrogando.
Cambia l’insieme dei prompt tra un’esecuzione e l’altra e rinunci a tutto questo, e nessuna statistica te lo restituisce. Tieni fisso l’insieme e avvia i nuovi prompt come una serie a sé.
Anche i nostri avvisi usano il filtro prudente, ed ecco cosa ti costa
Le nostre regole di avviso richiedono due cose. Gli intervalli di Wilson del punteggio vecchio e di quello nuovo non devono sovrapporsi, e lo spostamento deve superare una soglia che imposti tu in una direzione che scegli tu. Il controllo degli intervalli viene prima, quindi se le barre si toccano non scatta nulla, qualunque cosa dica la soglia.
È il filtro prudente e lo abbiamo scelto apposta. Un avviso di cui nessuno si fida è peggio di nessun avviso. Secondo i numeri sopra, però, è all’incirca un test all’1%, quindi il calo di 12 punti dell’esempio passa in silenzio. Un costo reale, e preferiamo scriverlo piuttosto che lasciartelo scoprire.
Sotto i calcoli c’è un pavimento che conta di più. Riesegui un insieme identico di prompt su un sito che nessuno ha toccato e il numero si muove comunque, perché i motori non si ripetono. Lo dice apertamente la documentazione di OpenAI: le chat completion non sono deterministiche per impostazione predefinita, e anche con un seed impostato il loro sistema "will make a best effort to sample deterministically" e "determinism is not guaranteed". Nel nostro campionamento abbiamo visto cambiare dal 9 al 27% dell’insieme dei nomi menzionati da un giorno all’altro, e dove si colloca dipende dal motore. E questo senza che nessuno pubblichi nulla.
Per questo Proofsource esegue un report test-retest: gli stessi prompt fissi, lo stesso motore, due volte al giorno, su un sito che non è cambiato. Ti dà l’entità del tuo rumore prima di impostarci sopra una soglia. Se lo salti, la tua soglia è un’ipotesi.
Dove potremmo sbagliare
Payton e colleghi hanno ricavato il loro risultato per le medie di popolazioni normali, assumendo errori standard uguali e un campione grande. La visibilità è una proporzione, e un intervallo di Wilson diventa asimmetrico vicino allo 0 e al 100%. La direzione si trasferisce bene, la sovrapposizione al 95% è troppo prudente per un test al 5%, ma considera l’83-84% una regola pratica per il nostro caso e non una dimostrazione. Vicino agli estremi, esegui il test vero e proprio.
L’esempio è aritmetica, non una misurazione. I 200 prompt, l’84 e il 60, i 30 ribaltamenti contro 6 sono numeri che abbiamo scelto perché fossero coerenti e mostrassero la distanza. I tuoi saranno diversi, ed è la suddivisione la cosa da guardare.
Significatività statistica e “l’hai causato tu” sono affermazioni separate, e qui ci occupiamo solo della prima. Un p di 0,00006 rispetto al rumore di campionamento dice che il comportamento del motore è cambiato tra le due esecuzioni. Non dice nulla sul perché. Con il ricambio che misuriamo, uno spostamento significativo può comunque essere il motore che deriva da solo.
Il dato dal 9 al 27% è nostro. È ciò che abbiamo visto sui motori che campioniamo, non una costante pubblicata, e non sostituisce la misurazione del tuo.
