Ogni guida dice di aprire una chat nuova, poi descrive un acquirente da cinque turni
Il modo standard per verificare se un motore di risposta menziona il tuo brand è scrivere un insieme di domande d’acquisto, eseguirle ciascuna in una chat nuova senza contesto precedente e registrare chi è stato menzionato. Lo facciamo anche noi, per un buon motivo: una chat che hai già orientato verso il tuo brand ti dice cosa dice un modello già scaldato, non cosa vede un acquirente a freddo.
Poi leggi cosa dicono le stesse guide sul comportamento dell’acquirente. Chi sceglie un fornitore chiede cosa cercare, cita un vincolo, chiede un confronto, chiede dove comprare. Google lo considera lo scopo del prodotto: la sua pagina di assistenza su AI Mode dice che puoi chiedere qualsiasi cosa e ricevere una risposta, con la possibilità di approfondire tramite domande successive. L’interazione su cui sono costruiti questi motori si svolge su più turni. Ogni numero in ogni report di visibilità nell’IA è il numero al primo turno.
Un esperimento su 200.000 conversazioni ha rilevato che il calo arriva al secondo turno
Esiste una grande misurazione controllata di questo. Philippe Laban e Jennifer Neville di Microsoft Research, con Hiroaki Hayashi e Yingbo Zhou di Salesforce Research, l’hanno pubblicata il 9 maggio 2025. Hanno preso 600 istruzioni completamente specificate su sei compiti di generazione, le hanno divise in parti e hanno fatto rivelare a un utente simulato al massimo una parte per turno. Quindici modelli, oltre 200.000 conversazioni simulate.
Modelli che ottenevano circa il 90% quando ricevevano l’intera istruzione in un solo messaggio ottenevano circa il 65% quando le stesse informazioni arrivavano in più turni. In media su modelli e compiti il peggioramento era del 39%, e ogni modello peggiorava su ogni compito.
Dividere un’istruzione potrebbe semplicemente perdere informazioni nella riscrittura. Lo hanno controllato: ricomporre le stesse parti in un unico elenco puntato otteneva il 95,1% dell’originale. La riscrittura non costa nulla, i turni costano tutto. Variando la finezza della divisione, da due parti fino a otto, il danno compariva a due e restava stabile dopo.
I modelli non sono diventati meno capaci. Sono diventati meno ripetibili.
Questa è la parte che conta se riporti una percentuale a qualcuno. L’articolo divide le prestazioni in attitudine, il punteggio al 90° percentile su esecuzioni ripetute, e inaffidabilità, la distanza tra il 90° e il 10°. L’attitudine su più turni è scesa di circa il 16%. L’inaffidabilità è salita del 112%. La migliore esecuzione su più turni è quasi buona quanto la migliore su un turno solo e la peggiore è molto peggio, con una dispersione su un’istruzione fissa di circa 50 punti in media.
Nessuno dei rimedi abituali ha aiutato. o3 e DeepSeek R1 si sono persi come tutti gli altri, e gli autori ne attribuiscono la colpa alla lunghezza: i modelli di ragionamento scrivevano risposte più lunghe di circa il 33%, portandosi dietro più ipotesi proprie. Abbassare la temperatura ha ridotto l’inaffidabilità dal 50 all’80% nei contesti a un turno e non ha fatto nulla di utile in quelli a più turni, dove restava vicina al 30% anche portata a zero.
Leggilo accanto a un report di visibilità. Una rosa ristretta letta una volta al primo turno è già un campione di un processo rumoroso, ed è per questo che pubblichiamo un intervallo accanto a ogni percentuale. Una rosa ristretta letta una volta al terzo turno è un campione di un processo con il doppio della dispersione.
La tua rosa ristretta del primo turno diventa un input del secondo
OpenAI documenta il meccanismo. Ogni richiesta è indipendente e senza stato, e una conversazione su più turni funziona reinviando i messaggi precedenti insieme a quello nuovo. Anche quando concateni le risposte tramite ID, nota OpenAI, ogni token di input precedente viene fatturato di nuovo come token di input. La cronologia non viene ricordata, viene reinviata, e questo include la risposta precedente dell’assistente stesso.
Quindi quando un acquirente fa una domanda successiva, il modello legge la propria rosa ristretta del primo turno come parte dell’input, e Laban e colleghi indicano l’eccessivo affidamento sui tentativi di risposta precedenti come una delle quattro cause dell’effetto. Il che indica qualcosa che non possiamo ancora dimostrare: al primo turno competi per un posto, al secondo discuti con un elenco che il modello ha già scritto. Nessuno lo ha misurato sulle rose ristrette di brand. È la lettura su cui scommetteremmo.
Cosa misuriamo, e il numero che nessuno di noi ha
Proofsource campiona per costruzione a turno singolo. Poniamo ogni prompt più volte, valutiamo la visibilità con un intervallo di Wilson invece che con un punto ed eseguiamo un report test-retest che pone la stessa domanda due giorni di fila. Niente di tutto questo campiona una domanda successiva come domanda successiva. Nessuno strumento che conosciamo lo fa, il nostro compreso, e preferiamo scriverlo piuttosto che lasciar intendere una copertura che non abbiamo.
Ciò che possiamo mostrare è l’effetto vicino: cambia la domanda e cambia l’insieme dei nomi. In un report completo su un singolo brand in una categoria di software aziendale, la domanda di categoria ha restituito quattordici fornitori e il brand non era tra questi. Interrogato per nome, lo stesso motore lo ha definito una delle piattaforme leader della sua categoria e gli ha dato da quattro a cinque stelle. Su sedici formulazioni di quell’unica domanda commerciale, sei concorrenti sono comparsi in undici o più, e il brand al massimo in due. È un dato nostro, un brand e un motore, ed è un risultato sulla formulazione e non sui turni.
- Scrivi la domanda successiva come un prompt a sé. "Best project management tool" e "best project management tool for a twelve person team on no budget" sono due prompt, non uno.
- Metti il vincolo nel primo messaggio. È il consiglio dell’articolo agli utenti, e l’unico modo per ottenere una lettura che puoi confrontare il mese prossimo.
- Smetti di trattare lo screenshot di una conversazione di tre turni come una prova, in un senso o nell’altro. È un’esecuzione del contesto meno ripetibile che qualcuno abbia misurato.
Dove potremmo sbagliare
La lacuna più grande è il trasferimento. I sei compiti sono funzioni Python, query SQL, chiamate API, aritmetica da scuola elementare, didascalie di tabelle e riassunti mirati a una query. Nessuno è consigliare un fornitore. L’articolo stabilisce che i modelli perdono il filo dei requisiti che arrivano in più turni e diventano molto meno ripetibili quando succede. Non stabilisce che le rose ristrette di brand si comportino allo stesso modo. Pensiamo di sì, e non lo abbiamo misurato.
I suoi utenti sono simulati da un modello piccolo invece che da persone, e i compiti sono in inglese, solo testo e analitici. Gli autori elencano tutto questo, e sostengono che le loro condizioni sono abbastanza favorevoli da far pensare che il peggioramento reale sia probabilmente maggiore, il che sostiene la direzione e non dice nulla di affidabile sull’entità. Si tratta inoltre di modelli del 2025, e nessuno dei quattro motori che monitoriamo pubblica un proprio dato di affidabilità su più turni.
I nostri numeri sulle sedici formulazioni sono un brand, una categoria, un motore, un report. Mostrano che è la domanda a decidere l’elenco, e non sono una misura sui turni. Non abbiamo nemmeno un dato su quanto spesso una vera conversazione d’acquisto vada oltre un turno: che Google definisca le domande successive lo scopo di AI Mode è una dichiarazione di design, non una frequenza.
Ciò che difenderemmo è ristretto e un po’ scomodo per noi. Ciò che riporta ogni prodotto di questa categoria è il primo turno, ciò di cui parlano tutti è la conversazione, e al momento nessuno di noi sta misurando la differenza.
