Diberi paragraf utuhnya, delapan alat menyebut sumber yang salah 60% waktu
Inilah tes yang seharusnya mudah. Ambil satu paragraf dari artikel yang sudah terbit, tempel ke alat pencarian AI, lalu tanyakan dari artikel mana paragraf itu, siapa penerbitnya, dan apa URL-nya. Teksnya ada tepat di prompt. Tidak ada yang perlu ditebak.
Tow Center for Digital Journalism menjalankan persis itu pada Februari 2025 di delapan alat: ChatGPT Search, Perplexity, Perplexity Pro, DeepSeek Search, Copilot, Grok 2, Grok 3 versi beta, dan Gemini. Dua puluh penerbit, masing-masing sepuluh artikel, total 1.600 kueri. Kutipannya dipilih sehingga jika ditempel ke pencarian Google biasa, artikel aslinya muncul di tiga hasil teratas.
Secara kolektif, alat-alat itu menjawab lebih dari 60% kueri dengan salah. Perplexity adalah yang terbaik di kelompoknya dan tetap salah 37%. Grok 3 salah 94%. DeepSeek mengatribusikan kutipan ke sumber yang salah 115 kali dari 200.
Bagian yang layak direnungkan adalah kepercayaan dirinya. ChatGPT salah mengidentifikasi 134 artikel dan hanya lima belas kali menunjukkan ketidakpastian di dua ratus respons. ChatGPT tidak sekali pun menolak menjawab.
Dokumentasi Perplexity menyebut penanda bergantung pada prompt dan daftar hasil adalah kebenarannya
Itu terbaca seperti masalah kualitas model. Lebih tepatnya masalah arsitektur, dan arsitekturnya bisa Anda baca di dokumentasi developer milik vendor sendiri.
Pencarian web melalui Agent API Perplexity kembali sebagai dua objek terpisah. Satu adalah item search_results yang memuat kueri yang dijalankan dan setiap hasil yang ditarik alat, masing-masing dengan id, url, judul, dan cuplikan. Yang lain adalah pesan asisten, yaitu teks jawaban. Penanda dalam kurung yang dianggap semua orang sebagai kutipan berada di dalam teks jawaban itu, dan halaman referensi Perplexity untuk alat tersebut menyatakan apakah model menambahkannya sama sekali bergantung pada prompt, jadi Anda harus memintanya secara eksplisit. Lalu halaman itu memberi tahu developer apa yang sebaiknya diandalkan: terlepas dari penandanya, perlakukan field id dan url pada setiap entri search_results sebagai sumber kebenaran untuk kutipan.
Baca itu dengan mata sebuah merek. Vendor memberi tahu developer-nya sendiri bahwa kutipan yang terlihat tidak otoritatif dan set yang diambil itulah yang otoritatif. Siapa pun yang mengukur visibilitas AI dari luar hanya pernah melihat kutipan yang terlihat.
Dokumentasi yang sama memperingatkan agar tidak meminta model menghasilkan URL di dalam keluaran terstruktur sama sekali, karena model yang menulis tautan bisa menghasilkan tautan yang rusak atau dikarang, dan mengarahkan developer kembali ke hasil pencarian. Tow Center mengukur versi sisi konsumen dari kegagalan itu. Lebih dari separuh respons Gemini dan Grok 3 memuat URL yang dikarang atau rusak, dan 154 dari 200 kutipan Grok 3 berujung di halaman error.
Kutipan yang diekstrak sistem membawa offset karakter
Bandingkan dengan kutipan yang dihitung sistem, bukan ditulis model. Fitur Citations milik Anthropic di Claude API mengembalikan, untuk setiap klaim dalam jawaban, sebuah blok berisi cited_text persisnya, indeks dokumen asalnya, dan offset karakter awal dan akhir di dokumen tersebut. Dokumentasinya tegas soal mengapa bentuk itu penting: karena API mengurai kutipan dan mengekstrak cited_text secara langsung, kutipan dijamin berisi penunjuk yang valid ke dokumen yang diberikan.
API grounding Google untuk Gemini dibangun dengan prinsip yang sama. Jawaban yang di-grounding kembali dengan pencarian yang benar-benar dijalankan model, ditambah anotasi url_citation yang masing-masing membawa start_index dan end_index pada teks jawaban, sehingga Anda bisa menyorot rentang persisnya dan menyebut URL di baliknya.
Jadi mesinnya ada. Kutipan yang berupa penunjuk hasil hitungan sistem bisa dicek. Kutipan yang berupa string tulisan model adalah sebuah klaim, dan layak mendapat skeptisisme yang sama seperti setiap klaim lain dalam jawaban. Permukaan yang benar-benar dipakai pembeli sebagian besar menampilkan jenis kedua.
Paragraf Anda di domain orang lain yang mendapat kreditnya
Tow Center menemukan satu kegagalan yang lebih keras menghantam merek daripada pihak lain. Alat-alat itu berulang kali mengutip salinan sindikasi atau terbitan ulang alih-alih aslinya. Perplexity Pro mengutip versi terbitan ulang artikel Texas Tribune di tiga dari sepuluh kueri, padahal Perplexity punya kemitraan dengan Texas Tribune. ChatGPT mengutip terbitan ulang Yahoo News dari sebuah artikel USA Today.
Versi merek dari kejadian ini lebih membosankan dan jauh lebih umum. Halaman perbandingan Anda menjelaskan perbedaan nyata antara dua tingkat paket. Sebuah blog rangkuman memparafrasekannya. Ketika seseorang mengajukan pertanyaan kategori, artikel rangkuman itu yang mendapat tautannya, kata-kata Anda ada di jawaban, dan domain Anda tidak ada di mana pun di halaman itu.
Dalam sampling kami sendiri, pada pertanyaan terbaik di kategori di satu kategori yang kami uji, listicle dan artikel rangkuman mencakup sekitar 44% sumber yang dikutip ChatGPT. Itu data kami dan cakupannya terbatas pada yang kami sampel. Tetapi itu cocok dengan bentuk masalahnya: slot kutipan adalah permukaan kecil yang diperebutkan, dan halaman pihak ketiga sangat pandai menempatinya.
Hitung tiga temuan, bukan satu
Jika daftar tautan adalah pembacaan yang tidak andal tentang apa yang digunakan mesin, maka satu jumlah kutipan adalah instrumen yang salah. Tiga pertanyaan terpisah dengan rapi, dan masing-masing mengarah ke tempat yang berbeda.
- Apakah jawaban menyebut Anda sama sekali? Kehadiran di dalam teks adalah pengukurannya sendiri, dan bergerak terlepas dari apakah ada tautan yang muncul.
- Apakah jawaban mengkreditkan Anda, atau mengkreditkan halaman yang membawa materi Anda? Jika yang kedua, Anda punya masalah penempatan, dan menulis ulang halaman Anda sendiri tidak akan menyentuhnya.
- Apakah mesin bisa menjangkau Anda sama sekali? Kutipan yang hilang sering kali punya penjelasan yang membosankan, dan pengecekan aksesibilitas bot menyelesaikannya sebelum siapa pun menulis ulang apa pun.
Apa yang kami lakukan tentang ini
Inilah sebabnya Proofsource menjalankan deteksi celah kutipan dan kutipan hantu alih-alih melaporkan satu angka, dan mengapa setiap titik data diberi label asal-usulnya: diamati dalam jawaban, atau dihasilkan. Jawaban yang mengutip Anda tanpa menautkan Anda dan jawaban yang tidak pernah melihat Anda terlihat identik di dasbor yang menghitung tautan.
Itu juga sebabnya sampling mencatat teks jawaban, bukan hanya daftar sumber. Jika kata-kata Anda muncul dalam teks sementara domain orang lain muncul di sumber, itu sebuah temuan, dan pekerjaannya berbeda dari tidak diambil.
Di mana ini bisa salah
Tes Tow Center berjalan pada Februari 2025 dan terbit pada bulan Maret. Itu delapan belas bulan lalu dan setiap produk di set itu sudah merilis banyak versi sejak itu. Ambil 60% sebagai bukti bahwa kelas kegagalan ini nyata dan bisa diukur, bukan sebagai tingkat kesalahan hari ini. Kami belum menjalankannya ulang.
Bagian keterbatasan studi itu sendiri menyatakan setiap kueri dijalankan sekali, dan siapa pun yang menjalankan ulang prompt yang sama kemungkinan besar akan mendapat keluaran yang berbeda. Akurasi atribusi sendiri adalah pengukuran yang penuh fluktuasi acak.
Menempel kutipan dan menanyakan siapa penulisnya adalah uji asal-usul, bukan cara pembeli berbelanja. Uji itu menekan atribusi secara langsung, memang itu tujuannya, tetapi tidak memberi tahu Anda seberapa sering atribusi keliru di dalam pertanyaan kategori biasa.
Perilaku API di atas adalah permukaan developer. ChatGPT, AI Overviews, dan situs Perplexity sendiri tidak dijamin menjalankan jalur kode yang sama, dan kami bernalar dari perilaku developer yang terdokumentasi, bukan dari dalam produk konsumennya.
Dan batasan jujur dari saran kami sendiri: dari luar, Anda tidak selalu bisa memisahkan halaman yang diambil tetapi tidak dikreditkan dari halaman yang tidak pernah diambil. Mengecek akses crawler mempersempitnya. Mencari kata-kata Anda sendiri di teks jawaban mempersempitnya lagi. Tidak satu pun menutupnya.
