ChatGPT dà la stessa risposta a tutti? No, ed ecco perché.

Perché sceglie ogni parola campionando da probabilità invece di recuperare una risposta salvata. La documentazione dell’API di OpenAI dice che le chat completion non sono deterministiche per impostazione predefinita, il che significa che gli output del modello possono variare da una richiesta all’altra. Anche gli sviluppatori che fissano ogni impostazione vengono avvisati che le modifiche di OpenAI alle configurazioni dei modelli possono influire sul risultato.

In una risposta breve e fattuale le parole cambiano e la sostanza resta. In una lista di prodotti consigliati, lo stesso campionamento decide quali nomi entrano e in che ordine, quindi i brand nella lista possono cambiare da una richiesta all’altra.

Quando ChatGPT cerca sul web, sì, può farlo. Le pagine restituite da una ricerca dipendono da dove viene eseguita, e lo strumento di ricerca web di OpenAI per sviluppatori accetta una posizione approssimativa dell’utente, cioè paese, città, regione e fuso orario, per affinare i risultati in base alla geografia. Un acquirente a Londra e uno a Chicago che chiedono «il miglior software per le buste paga» possono ricevere ciascuno opzioni locali, ed entrambe le risposte sono corrette per il luogo da cui hanno chiesto. Per questo, con un piano a pagamento di Proofsource, ogni domanda può essere posta dal mercato a cui si rivolge e ogni mercato viene letto separatamente.

Più di quanto pensi la maggior parte dei titolari di brand. Nel campionamento di Proofsource, tra il 9% e il 27% dei brand menzionati nelle risposte di un motore cambia da un giorno all’altro, a seconda del motore: Perplexity si è mosso di più e Claude di meno. E questo senza che nessuno pubblichi nulla.

I campioni piccoli lo nascondono. Nell’esempio pubblico di Tesla, ChatGPT ha menzionato Tesla in 16 risposte d’acquisto su 25, cioè il 64%, ma l’intervallo di Wilson al 95% va da circa il 45% all’80%. Altre 25 risposte in un altro giorno potrebbero cadere ovunque in quell’intervallo senza che nulla sia cambiato.

Fai le stesse domande molte volte, da sessioni senza cronologia personale, e riporta un tasso con un intervallo invece di un singolo risultato. È ciò che fa Proofsource. Fa le tue domande d’acquisto su ChatGPT, Perplexity, Claude e Google AI Overviews, conserva ogni risposta, registra quali brand sono stati menzionati e quale modello ha scritto ciascuna risposta, e mette un intervallo di Wilson al 95% su ogni tasso.

Un cambiamento viene segnalato solo quando supera l’intervallo, così un martedì tranquillo non viene presentato come una crisi. Il metodo è descritto nella pagina della metodologia, e la prova è 2 giorni di visibilità completa nell’IA, oggi e domani.

1. La tua chat è il test meno affidabile. La tua memoria e la tua cronologia possono spingere ChatGPT verso il tuo brand.
2. Usa una chat temporanea o una finestra senza login per una vista più pulita, e fai la domanda come la farebbe un acquirente, senza il nome del tuo brand.
3. Chiedi più di una volta, e in più di un giorno, prima di trarre conclusioni.
4. Controlla gli altri motori. Perplexity, Claude e Google AI Overviews possono non essere d’accordo con ChatGPT sulla stessa domanda.