Setiap panduan menyuruh memulai obrolan baru, lalu menggambarkan pembeli yang bertanya lima kali
Cara standar mengecek apakah mesin jawaban menyebut merek Anda adalah menulis sekumpulan pertanyaan pembeli, menjalankan masing-masing di obrolan yang benar-benar baru tanpa konteks sebelumnya, dan mencatat siapa yang disebut. Kami juga melakukannya, dengan alasan yang kuat: obrolan yang sudah Anda arahkan ke merek Anda sendiri memberi tahu apa yang dikatakan model yang sudah dipanaskan, bukan apa yang dilihat pembeli yang baru datang.
Lalu baca apa yang dikatakan panduan yang sama tentang apa yang dilakukan pembeli. Orang yang sedang memilih vendor menanyakan apa yang perlu diperhatikan, menyebut sebuah batasan, meminta perbandingan, menanyakan di mana membeli. Google menganggap itu inti produknya: halaman bantuan AI Mode menyebut Anda bisa menanyakan apa saja dan mendapat respons, dengan kemampuan menggali lebih dalam lewat pertanyaan lanjutan. Interaksi yang menjadi dasar mesin-mesin ini berlangsung dalam beberapa giliran. Setiap angka di setiap laporan visibilitas AI adalah angka di giliran pertama.
Eksperimen 200.000 percakapan menemukan penurunannya datang di giliran kedua
Ada satu pengukuran terkontrol berskala besar tentang hal ini. Philippe Laban dan Jennifer Neville di Microsoft Research, bersama Hiroaki Hayashi dan Yingbo Zhou di Salesforce Research, memublikasikannya pada 9 Mei 2025. Mereka mengambil 600 instruksi yang lengkap di enam tugas generasi, memecah masing-masing menjadi beberapa bagian, dan membuat pengguna simulasi mengungkapkan paling banyak satu bagian per giliran. Lima belas model, lebih dari 200.000 percakapan simulasi.
Model yang mencetak sekitar 90% saat diberi seluruh instruksi dalam satu pesan mencetak sekitar 65% saat informasi yang sama datang dalam beberapa giliran. Dirata-ratakan di seluruh model dan tugas, penurunannya 39%, dan setiap model menurun di setiap tugas.
Memecah instruksi bisa saja menghilangkan informasi saat ditulis ulang. Mereka mengontrolnya: menggabungkan kembali bagian-bagian yang sama menjadi satu daftar poin mencetak 95,1% dari aslinya. Penulisan ulang tidak menimbulkan kerugian, giliranlah yang menimbulkan semuanya. Dengan memvariasikan seberapa halus pemecahannya, dari dua bagian hingga delapan, kerusakan muncul di dua bagian dan tetap datar setelahnya.
Model tidak menjadi kurang mampu. Model menjadi kurang konsisten.
Inilah bagian yang penting jika Anda melaporkan persentase kepada siapa pun. Makalah itu membagi kinerja menjadi kecakapan, yaitu skor persentil ke-90 dari putaran berulang, dan ketidakandalan, yaitu jarak antara persentil ke-90 dan ke-10. Kecakapan multi-giliran turun sekitar 16%. Ketidakandalan naik 112%. Putaran multi-giliran terbaik hampir sebaik putaran satu giliran terbaik dan yang terburuk jauh lebih buruk, dengan sebaran pada instruksi yang tetap rata-rata sekitar 50 poin.
Kedua obat yang biasa tidak membantu. o3 dan DeepSeek R1 tersesat seperti yang lain, dan para penulis menyalahkan panjangnya: model penalaran menulis jawaban sekitar 33% lebih panjang, membawa lebih banyak asumsinya sendiri ke giliran berikutnya. Menurunkan temperatur memangkas ketidakandalan 50 hingga 80% di pengaturan satu giliran dan tidak berguna di pengaturan multi-giliran, tempat angkanya bertahan di dekat 30% bahkan ketika diatur ke nol.
Baca itu terhadap laporan visibilitas. Daftar pendek yang dibaca sekali di giliran pertama sudah merupakan satu sampel dari proses yang berfluktuasi, itulah sebabnya kami memublikasikan interval di samping setiap persentase. Daftar pendek yang dibaca sekali di giliran ketiga adalah satu sampel dari proses dengan sebaran dua kali lipat.
Daftar pendek giliran pertama Anda menjadi masukan untuk giliran kedua
OpenAI mendokumentasikan mekanismenya. Setiap permintaan berdiri sendiri dan tanpa status, dan percakapan multi-giliran bekerja dengan mengirim kembali pesan-pesan sebelumnya bersama pesan baru. Bahkan saat Anda merangkai respons berdasarkan ID, catat OpenAI, setiap token masukan sebelumnya ditagih lagi sebagai token masukan. Riwayatnya tidak diingat, melainkan dikirim ulang, termasuk jawaban asisten sendiri sebelumnya.
Jadi ketika pembeli mengajukan pertanyaan lanjutan, model membaca daftar pendek giliran pertamanya sendiri sebagai bagian dari masukan, dan Laban serta rekan-rekannya menyebut ketergantungan berlebih pada upaya jawaban sebelumnya sebagai salah satu dari empat penyebab efek ini. Itu mengarah pada sesuatu yang belum bisa kami buktikan: di giliran pertama Anda bersaing untuk sebuah slot, di giliran kedua Anda berdebat dengan daftar yang sudah ditulis model. Belum ada yang mengukurnya pada daftar pendek merek. Itulah pembacaan yang akan kami pertaruhkan.
Apa yang kami ukur, dan angka yang tidak dimiliki siapa pun dari kita
Proofsource memang mengambil sampel satu giliran berdasarkan rancangannya. Kami mengajukan setiap prompt berulang kali, menilai visibilitas dengan interval Wilson alih-alih satu titik, dan menjalankan laporan uji-ulang yang mengajukan pertanyaan yang sama dua hari berturut-turut. Tidak satu pun dari itu mengambil sampel pertanyaan lanjutan sebagai pertanyaan lanjutan. Tidak ada alat yang kami ketahui yang melakukannya, termasuk milik kami, dan kami lebih memilih menuliskannya daripada menyiratkan cakupan yang tidak kami miliki.
Yang bisa kami tunjukkan adalah efek yang bersebelahan: ubah pertanyaannya dan set yang disebut ikut berubah. Dalam satu laporan lengkap tentang satu merek di kategori perangkat lunak bisnis, pertanyaan kategori menghasilkan empat belas vendor dan merek itu tidak termasuk di antaranya. Ketika ditanyakan berdasarkan namanya, mesin yang sama menyebutnya salah satu platform terdepan di kategorinya dan memberinya empat hingga lima bintang. Di enam belas variasi kalimat untuk satu pertanyaan komersial itu, enam pesaing muncul di sebelas variasi atau lebih, dan merek itu paling banyak di dua. Itu milik kami, satu merek dan satu mesin, dan itu hasil variasi kalimat, bukan hasil giliran.
- Tulis pertanyaan lanjutan sebagai prompt tersendiri. "Alat manajemen proyek terbaik" dan "alat manajemen proyek terbaik untuk tim dua belas orang tanpa anggaran" adalah dua prompt, bukan satu.
- Masukkan batasannya di pesan pertama. Itulah saran makalah itu kepada pengguna, dan satu-satunya cara mendapat pembacaan yang bisa Anda bandingkan bulan depan.
- Berhentilah memperlakukan tangkapan layar percakapan tiga giliran sebagai bukti, ke arah mana pun. Itu satu putaran dari pengaturan yang paling tidak konsisten yang pernah diukur siapa pun.
Di mana ini bisa keliru
Celah terbesarnya adalah pengalihan temuan. Keenam tugas itu adalah fungsi Python, kueri SQL, panggilan API, aritmetika sekolah dasar, keterangan tabel, dan ringkasan yang berfokus pada kueri. Tidak satu pun berupa merekomendasikan vendor. Makalah itu membuktikan bahwa model kehilangan jejak persyaratan yang datang dalam beberapa giliran dan menjadi jauh kurang konsisten saat itu terjadi. Makalah itu tidak membuktikan bahwa daftar pendek merek berperilaku sama. Kami pikir begitu, dan kami belum mengukurnya.
Penggunanya disimulasikan oleh model kecil, bukan manusia, dan tugasnya berbahasa Inggris, hanya teks, dan bersifat analitis. Para penulis mencantumkan semua itu, dan berargumen bahwa kondisi mereka cukup ringan sehingga penurunan nyata kemungkinan lebih besar, yang mendukung arahnya tetapi tidak menyatakan apa pun yang bisa diandalkan tentang besarnya. Ini juga model tahun 2025, dan tidak satu pun dari empat mesin yang kami lacak memublikasikan angka keandalan multi-giliran sendiri.
Angka enam belas variasi kalimat kami adalah satu merek, satu kategori, satu mesin, satu laporan. Angka itu menunjukkan bahwa pertanyaanlah yang menentukan daftar, dan bukan pengukuran giliran. Kami juga tidak punya angka tentang seberapa sering percakapan pembelian yang sebenarnya berlangsung lebih dari satu giliran: Google menyebut pertanyaan lanjutan sebagai inti AI Mode adalah pernyataan desain, bukan frekuensi.
Yang akan kami pertahankan itu sempit dan sedikit canggung bagi kami. Yang dilaporkan setiap produk di kategori ini adalah giliran pertama, yang dibicarakan semua orang adalah percakapannya, dan saat ini tidak satu pun dari kita yang mengukur perbedaannya.
