Una verifica che ti ha menzionato è compatibile con un tasso reale del 20,7%
Il modo più comune in cui un brand scopre dove si trova nella ricerca con l’IA è che qualcuno pone la domanda una volta, legge la risposta e si rilassa o va nel panico. Quella singola risposta diventa poi il numero che tutti ripetono alla riunione successiva.
Trattala per quello che è. Una domanda, posta una volta, con esito sì o no, è un campione di dimensione uno da una moneta di cui non conosci la distorsione. L’intervallo di Wilson è il modo standard per dare dei limiti a questo tipo di proporzione. Applicalo a un successo su una prova con confidenza al 95% e la risposta è dal 20,7% al 100%.
In parole semplici: un modello che ti menziona in una singola verifica è del tutto compatibile con un modello che ti menzionerebbe in una risposta su cinque. Lo screenshot non può distinguerli. E nemmeno tu.
La mancata menzione è peggio. Zero su uno dà un intervallo dallo 0% al 79,3%, e i team riscrivono regolarmente un piano di contenuti partendo proprio da quello.
Lo stesso prompt restituisce una risposta diversa per via di chi altro stava chiedendo
Non conterebbe se i motori fossero deterministici. Non lo sono, e il motivo è più specifico del solito generico riferimento alla casualità. OpenAI lo dice chiaramente nelle sue linee guida per l’API: le Chat Completions non sono deterministiche per impostazione predefinita, il che significa che gli output del modello possono differire da una richiesta all’altra. Un seed ti dà quello che la stessa pagina chiama output per lo più deterministico, e OpenAI espone un’impronta di sistema così puoi capire quando un cambiamento nel backend ha spostato il terreno sotto di te.
Thinking Machines Lab lo ha misurato. A settembre 2025 il laboratorio ha campionato 1.000 completamenti da Qwen3-235B-A22B-Instruct-2507 a temperatura zero, cioè campionamento greedy, che in teoria dovrebbe essere perfettamente ripetibile, usando il prompt "Tell me about Richard Feynman". Hanno ottenuto 80 completamenti unici, il più comune comparso 78 volte. Tutte le 1.000 esecuzioni concordavano per i primi 102 token e si dividevano al 103°: 992 continuavano con "Queens, New York" e 8 con "New York City".
La causa che individuano non è la casualità delle GPU. I kernel sono deterministici da un’esecuzione all’altra, ma non sono invarianti rispetto al batch, quindi una richiesta riceve un’aritmetica leggermente diversa a seconda del batch in cui finisce, e la dimensione del batch dipende dal carico del server. La loro conclusione merita una seconda lettura: il motivo principale per cui quasi tutti gli endpoint di inferenza dei LLM non sono deterministici è che il carico, e quindi la dimensione del batch, varia in modo non deterministico.
Il che significa che la risposta di cui hai fatto lo screenshot dipende in parte da quanti sconosciuti stavano interrogando lo stesso endpoint nello stesso secondo. Non è un segnale sul tuo brand.
Venti campioni lasciano comunque un intervallo di quaranta punti
Una volta accettato che un dato di visibilità è una proporzione stimata da un campione, la domanda successiva è quanto deve essere grande il campione. L’intervallo di Wilson risponde, e la risposta è umiliante. Tutti questi casi presuppongono che il modello ti menzioni nel 60% dei casi:
- 5 campioni, 3 menzioni: dal 23,1% all’88,2%. Un intervallo di 65 punti. Sai che il brand esiste.
- 20 campioni, 12 menzioni: dal 38,7% al 78,1%. Un intervallo di 39 punti, che è gran parte della scala.
- 40 campioni, 24 menzioni: dal 44,6% al 73,7%. Ora puoi escludere di essere invisibile.
- 100 campioni, 60 menzioni: dal 50,2% al 69,1%. Ancora 19 punti di ampiezza.
- 366 campioni: il primo punto in cui l’intervallo si stringe a più o meno 5 punti. Per arrivare a più o meno 3 ne servono 1.021.
La maggior parte dei movimenti riportati in una dashboard di visibilità nell’IA non è avvenuta
Ecco dove i calcoli iniziano a costare soldi. Campiona un prompt 40 volte nella prima settimana e vedi 24 menzioni, poi 40 volte nella seconda e vedi 32. Sembra un salto dal 60% all’80%, e venerdì sarà in una slide.
I due intervalli sono dal 44,6% al 73,7% e dal 65,2% all’89,5%. Si sovrappongono. Un’oscillazione di 20 punti su 40 campioni non è ancora un risultato, e la cosa giusta da dire nella stanza è che non è stato stabilito nulla. Fallo qualche volta e le persone smettono di inseguire il rumore.
Per questo in Proofsource filtriamo gli avvisi sull’intervallo invece che sulla stima puntuale, e per questo ogni percentuale di visibilità nei nostri report ha accanto un intervallo di Wilson. Un avviso che scatta quando un numero supera una linea scatta di continuo su un sistema così rumoroso. Uno che scatta quando gli intervalli si separano scatta quando è successo qualcosa.
La stessa logica vale per lo zero. Nessuna menzione su 20 campioni lascia un limite superiore del 16,1%, e nessuna menzione su 40 dell’8,8%. Se vuoi affermare che un motore non ti menziona mai, 40 campioni è all’incirca dove quell’affermazione inizia a significare qualcosa.
Usa l’intervallo di Wilson, non quello che ti hanno insegnato
Una nota tecnica, perché l’alternativa ovvia fallisce proprio nei casi che contano qui. L’intervallo che la maggior parte delle persone ha imparato è l’intervallo di Wald, costruito dalla semplice approssimazione normale. Su un successo in una prova riporta dal 100% al 100%, e su zero su uno dallo 0% allo 0%. Ti dice che una singola verifica è certa, che è esattamente l’errore che stiamo cercando di correggere.
È ben documentato. La rassegna di Brown, Cai e DasGupta su Statistical Science ha rilevato che la copertura irregolare dell’intervallo di Wald è molto più persistente di quanto si pensi, che le comuni indicazioni dei manuali su quando è sicuro sono fuorvianti e difettose e non ci si può fidare, e raccomanda Wilson per i piccoli campioni. Il campionamento dei motori di risposta è fatto di piccoli campioni, perché ogni prompt che monitori ha il proprio conteggio.
Cosa fare il lunedì
Niente di tutto questo richiede di comprare qualcosa. Richiede di cambiare ciò che annoti.
- Smetti di riportare una singola verifica. Se la prova è uno screenshot, il risultato è che il brand può comparire, e niente di più.
- Scegli una dimensione del campione prima di guardare i dati, e mantienila uguale in ogni periodo. Cambiare n tra una lettura e l’altra rende due numeri non confrontabili anche quando entrambi sono onesti.
- Riporta l’intervallo, non il punto. Una riga che dice 60% con un intervallo da 45 a 74 è più difficile da sovrainterpretare di una riga che dice 60%.
- Imposta la soglia degli avvisi sulla separazione degli intervalli, e distribuisci i campioni su più giorni. Due intervalli che si sovrappongono non sono un cambiamento, per quanto diversi sembrino i punti centrali.
Dove potremmo sbagliare
I dati di Wilson sopra sono aritmetica esatta su input dichiarati, quindi i numeri non sono in dubbio. Lo è l’ipotesi di modello che c’è dietro. Gli intervalli di Wilson presuppongono prove indipendenti con una probabilità di successo fissa, e le query ripetute a un motore reale non sono indipendenti in modo pulito: personalizzazione, cache, contesto della sessione e una versione del modello rilasciata a metà settimana violano tutti questa ipotesi. Considera questi intervalli un minimo della tua incertezza, non un conto completo.
L’esperimento di Thinking Machines ha eseguito un modello a pesi aperti in hosting proprio, sull’infrastruttura del laboratorio, non ChatGPT, Gemini o Perplexity. Stabilisce il meccanismo, non la varianza di un prodotto commerciale, e nessuno di quei fornitori pubblica la propria.
Il dato del 60% nella tabella sulle dimensioni del campione è illustrativo. Lo abbiamo scelto perché gli intervalli sono più ampi vicino al centro, il che lo rende il caso prudente. Un brand al 5% o al 95% ha bisogno di meno campioni per la stessa precisione assoluta.
Ciò che difenderemmo è la direzione dell’errore. Campioni piccoli, verifiche singole e stime puntuali senza intervalli spingono tutti nello stesso senso, verso il credere di aver misurato qualcosa quando non lo hai fatto.
