Misura la visibilità nell’IA senza ingannarti.

Più di quanto faccia riproporla. Su 13.994 risposte di 96 brand, un brand menzionato in una formulazione di una decisione d’acquisto è comparso in una formulazione gemella lo stesso giorno il 55% delle volte. La stessa formulazione, ripetuta più tardi, ha mantenuto il brand il 78% delle volte (lo studio sulle formulazioni).

L’esempio pubblico di Tesla mostra la dispersione (scansioni del 4, 8 e 15 ott. 2026). Su cinque formulazioni della stessa decisione sull’accumulo di energia per la rete, due hanno menzionato Tesla in 12 risposte su 12 e due in nessuna. Quelle due chiedevano il costo per MWh e i criteri d’acquisto, e i motori hanno risposto con prezzi e checklist, senza menzionare nessuno dei fornitori che le altre formulazioni citavano. Riporta ogni formulazione separatamente prima di farne la media; un punteggio per argomento che mescola 12 su 12 con 0 su 12 non descrive nessuna delle due.

Fai la stessa domanda due volte allo stesso motore e puoi ottenere due risposte diverse. Una risposta è un campione, non un fatto, e pochi campioni possono ingannare. Una singola risposta che ti menziona ha un intervallo al 95% che va dal 20,7% al 100%; una singola assenza, dallo 0% al 79,3% (perché una risposta dice così poco).

Il modo onesto di riportare un tasso da un campione piccolo è con un intervallo. Nell’esempio di Tesla, ChatGPT ha menzionato Tesla in 16 risposte su 25, cioè il 64%, ma l’intervallo di Wilson al 95% va all’incirca dal 45% all’80%. Il 10 su 25 di Perplexity va all’incirca dal 23% al 59%. I due intervalli si sovrappongono, quindi nemmeno quella differenza dimostra ancora che un motore favorisca Tesla. Più risposte restringono l’intervallo: 60 su 200 va all’incirca dal 24,1% al 36,7%. Un cambiamento significa qualcosa solo quando è più grande del rumore; il capitolo 6 spiega come dimostrarlo, e cosa significa l’intervallo al 95% spiega l’intervallo stesso.

Il metodo completo è nella pagina della metodologia, e i termini sono nel glossario.

Le singole risposte cambiano ogni giorno; un insieme fisso di domande si muove molto meno. Su 40 domande d’acquisto poste ogni giorno a quattro motori, circa un nome su cinque presente in una risposta era sparito il giorno dopo, e il 47% di quei cambiamenti si è invertito un giorno più tardi. Eppure il tasso di un singolo giorno è rimasto, in mediana, a 3,6 punti dalla media di quella settimana (lo studio sulla frequenza).

• Per riportare una tendenza su un insieme ampio e fisso di domande, una volta a settimana di solito basta.
• Se monitori 20 domande o meno, le esecuzioni giornaliere mediate sulla settimana danno un intervallo molto più stretto.
• Per dimostrare una modifica appena pubblicata, la misurazione giornaliera mostra in quale giorno si sono mosse le risposte e se lo spostamento ha tenuto.

Approfondisci questo equilibrio in monitoraggio giornaliero della visibilità nell’IA.