Ricevuto il paragrafo esatto, otto strumenti hanno indicato la fonte sbagliata nel 60% dei casi
Ecco un test che dovrebbe essere facile. Prendi un paragrafo da un articolo pubblicato, incollalo in uno strumento di ricerca con IA e chiedi da quale articolo viene, chi lo ha pubblicato e qual è l’URL. Il testo è lì, nel prompt. Non c’è nulla da indovinare.
Il Tow Center for Digital Journalism ha fatto esattamente questo a febbraio 2025 su otto strumenti: ChatGPT Search, Perplexity, Perplexity Pro, DeepSeek Search, Copilot, Grok 2, Grok 3 in beta e Gemini. Venti editori, dieci articoli ciascuno, 1.600 query in tutto. Gli estratti erano scelti in modo che, incollati nella normale ricerca Google, restituissero l’originale tra i primi tre risultati.
Complessivamente gli strumenti hanno risposto in modo errato a più del 60% delle query. Perplexity era il migliore del gruppo e ne ha comunque sbagliate il 37%. Grok 3 ne ha sbagliate il 94%. DeepSeek ha attribuito l’estratto alla fonte sbagliata 115 volte su 200.
La sicurezza è la parte su cui riflettere. ChatGPT ha identificato male 134 articoli e ha segnalato incertezza quindici volte su duecento risposte. Non si è mai rifiutato di rispondere.
La documentazione di Perplexity dice che i marcatori dipendono dal prompt e che l’elenco dei risultati è la verità
Sembra un problema di qualità del modello. È più un problema di architettura, e puoi leggere l’architettura nella documentazione per sviluppatori dei fornitori stessi.
Una ricerca web tramite l’Agent API di Perplexity torna come due oggetti separati. Uno è un elemento search_results con le query eseguite e ogni risultato recuperato dallo strumento, ciascuno con id, url, titolo e snippet. L’altro è il messaggio dell’assistente, cioè il testo della risposta. I marcatori tra parentesi che tutti trattano come citazioni vivono dentro quel testo, e la pagina di riferimento di Perplexity per lo strumento dice che il fatto che il modello li aggiunga dipende dal prompt, quindi dovresti chiederli esplicitamente. Poi dice agli sviluppatori su cosa fare affidamento invece: indipendentemente dai marcatori, considera i campi id e url di ogni voce di search_results la fonte di verità per le citazioni.
Leggilo con gli occhi di un brand. Il fornitore dice ai propri sviluppatori che la citazione visibile non fa testo e che l’insieme recuperato sì. Chiunque misuri la visibilità nell’IA dall’esterno vede solo la citazione visibile.
La stessa documentazione sconsiglia di chiedere a un modello di produrre URL all’interno di un output strutturato, perché un modello che scrive link può produrne di malformati o inventati, e rimanda gli sviluppatori ai risultati di ricerca. Il Tow Center ha misurato la versione lato consumatore di quel fallimento. Più della metà delle risposte di Gemini e Grok 3 conteneva URL inventati o non funzionanti, e 154 delle 200 citazioni di Grok 3 finivano su pagine di errore.
Una citazione estratta dal sistema porta con sé gli offset dei caratteri
Mettila accanto a una citazione che il sistema calcola invece di farla scrivere al modello. La funzione Citations dell’API di Claude restituisce, per ogni affermazione nella risposta, un blocco con il cited_text esatto, l’indice del documento da cui proviene e un offset di caratteri di inizio e fine in quel documento. La documentazione è esplicita sul perché la forma conta: poiché l’API analizza le citazioni ed estrae direttamente il cited_text, le citazioni contengono sicuramente riferimenti validi ai documenti forniti.
L’API di grounding di Google per Gemini è costruita sulle stesse linee. Una risposta con grounding torna con le ricerche che il modello ha effettivamente eseguito, più annotazioni url_citation che portano ciascuna uno start_index e un end_index nel testo della risposta, così puoi evidenziare il passaggio esatto e indicare l’URL che c’è dietro.
Il meccanismo esiste, quindi. Una citazione che è un puntatore calcolato dal sistema è verificabile. Una citazione che è una stringa scritta dal modello è un’affermazione, e merita lo stesso scetticismo di ogni altra affermazione nella risposta. Le superfici che usano davvero gli acquirenti mostrano per lo più il secondo tipo.
Il tuo paragrafo sul dominio di qualcun altro raccoglie il merito
Il Tow Center ha trovato un fallimento che colpisce i brand più di chiunque altro. Gli strumenti citavano ripetutamente copie ripubblicate o in syndication invece dell’originale. Perplexity Pro ha citato versioni ripubblicate di articoli del Texas Tribune in tre query su dieci, e Perplexity ha una partnership con il Texas Tribune. ChatGPT ha citato una ripubblicazione su Yahoo News di un articolo di USA Today.
La versione per un brand è più banale e molto più comune. La tua pagina di confronto spiega la vera differenza tra due livelli di piano. Un blog di rassegne la parafrasa. Quando qualcuno pone la domanda di categoria, la rassegna prende il link, la tua formulazione è nella risposta e il tuo dominio non compare da nessuna parte.
Nel nostro campionamento, su una domanda sul migliore della categoria nell’unica categoria che abbiamo testato, listicle e rassegne rappresentavano circa il 44% delle fonti citate da ChatGPT. È un dato nostro, limitato a ciò che abbiamo campionato. Si adatta però alla forma del problema: gli spazi per le citazioni sono una superficie piccola e contesa, e le pagine di terzi sono molto brave a occuparli.
Conta tre risultati invece di uno
Se l’elenco dei link è una lettura inaffidabile di ciò che il motore ha usato, allora un singolo conteggio delle citazioni è lo strumento sbagliato. Tre domande si separano in modo netto, e ciascuna porta in una direzione diversa.
- La risposta ti ha menzionato? La presenza nel testo è una misura a sé, e si muove indipendentemente dal fatto che sia comparso un link.
- La risposta ha dato credito a te, o a una pagina che riporta il tuo materiale? Se è la seconda, hai un problema di posizionamento, e riscrivere la tua pagina non lo toccherà.
- Il motore poteva raggiungerti? Una citazione mancante ha spesso una spiegazione banale, e una verifica di accessibilità per i bot la chiarisce prima che qualcuno riscriva qualcosa.
Cosa facciamo al riguardo
Per questo Proofsource esegue il rilevamento delle lacune di citazione e delle citazioni fantasma invece di riportare un solo numero, e per questo ogni dato è etichettato per provenienza: osservato in una risposta, o generato. Una risposta che ti cita senza linkarti e una risposta che non ti ha mai visto appaiono identiche in una dashboard che conta i link.
È anche il motivo per cui il campionamento registra il testo della risposta, non solo l’elenco delle fonti. Se la tua formulazione compare nel testo mentre il dominio di qualcun altro compare tra le fonti, è un risultato, ed è un lavoro diverso dal non essere recuperati.
Dove potremmo sbagliare
I test del Tow Center sono stati eseguiti a febbraio 2025 e pubblicati a marzo. Sono diciotto mesi fa e ogni prodotto dell’insieme ha rilasciato molte versioni da allora. Prendi il 60% come prova che questa classe di fallimenti è reale e misurabile, non come il tasso di errore di oggi. Non lo abbiamo rieseguito.
La sezione sui limiti dello studio dice che ogni query è stata eseguita una volta, e che chiunque rieseguisse gli stessi prompt otterrebbe molto probabilmente risultati diversi. L’accuratezza dell’attribuzione è essa stessa una misura rumorosa.
Incollare un estratto e chiedere chi lo ha scritto è un test di provenienza, non il modo in cui un acquirente fa acquisti. Mette sotto stress direttamente l’attribuzione, che è il suo scopo, ma non ti dice quanto spesso l’attribuzione sbaglia in una normale domanda di categoria.
Il comportamento dell’API descritto sopra riguarda la superficie per sviluppatori. ChatGPT, AI Overviews e il sito di Perplexity non sono tenuti a seguire lo stesso percorso di codice, e ragioniamo a partire dal comportamento documentato per gli sviluppatori e non dall’interno dei prodotti per i consumatori.
E il limite onesto dei nostri stessi consigli: dall’esterno non puoi sempre distinguere una pagina recuperata e non accreditata da una pagina mai recuperata. Verificare l’accesso dei crawler restringe il campo. Cercare la tua formulazione nel testo della risposta lo restringe ancora. Nessuna delle due lo chiude.
