167 jawaban yang dihitung sebagai sebutan menyatakan sesuatu yang keliru tentang merek
Tingkat sebutan mengajukan satu pertanyaan untuk setiap jawaban: apakah merek disebut? Ia tidak menanyakan apa yang dikatakan jawaban itu setelahnya. Kami ingin tahu seberapa sering kedua hal itu tidak sejalan.
Sampelnya: jawaban dari ruang kerja Proofsource antara 4 dan 16 Oktober 2026, di ChatGPT, Perplexity, Claude, dan Google AI Overviews. Untuk setiap jawaban yang menyebut merek yang dilacak, pemeriksa membandingkan setiap klaim tentang merek dengan fakta yang telah dikonfirmasi merek atau yang kami baca dari situsnya sendiri. 2.137 jawaban, mencakup 80 merek di 63 ruang kerja, memuat setidaknya satu klaim yang bisa dicek terhadap fakta yang tersimpan.
167 di antaranya, 7,8%, memuat setidaknya satu klaim yang bertentangan dengan fakta milik merek itu sendiri (interval 95% 6,8% hingga 9,0%). Klaim per klaim, 200 dari 4.761 klaim yang bisa dicek salah, 4,2%. Tersebar di berbagai merek, 36 dari 80 memiliki setidaknya satu jawaban yang salah dalam waktu kurang dari dua minggu.
Setiap satu dari 167 jawaban itu dihitung dalam tingkat sebutan. Di dasbor, semuanya terlihat persis seperti jawaban yang benar semua.
Sebagian besar klaim yang salah berupa angka: jumlah, harga, dan apa produknya
Kami mengelompokkan 200 klaim yang salah menurut topiknya, menggunakan aturan teks sederhana, jadi anggap pembagiannya kasar.
- Jumlah dan angka lain, 92: integrasi, lokasi, pelanggan yang dilayani, tingkat penempatan yang meleset satu poin.
- Apa produknya atau apa yang dilakukannya, 50: alat estimasi digambarkan sebagai perangkat lunak manajemen proyek, perusahaan keamanan digambarkan sebagai proyek blockchain.
- Harga dan paket, 48: harga awal yang dikutip lebih rendah dari aslinya, kredit per paket yang salah dinyatakan.
- Tanggal, 10 menurut aturan, meski hanya 6 yang benar-benar tahun pendirian, sebagian besar meleset satu tahun.
Claude salah menyampaikan fakta di 12% jawaban, Perplexity di 5%
Menurut mesin, porsi jawaban yang dicek dengan setidaknya satu klaim salah adalah 12,3% di Claude (58 dari 470), 8,7% di Google AI Overviews (45 dari 516), 6,0% di ChatGPT (37 dari 612), dan 5,0% di Perplexity (27 dari 539).
Jangan membacanya sebagai klasemen. Setiap mesin menjawab campuran pertanyaan yang berbeda dalam sampel kami, dan studi luar dengan metode berbeda mengurutkannya secara berbeda (lebih lanjut di bawah). Yang berlaku di keempatnya adalah tidak satu pun yang bersih.
Jawaban yang mengutip situs merek sendiri salah separuh lebih jarang
Pada pertanyaan yang menyebut merek, seperti "apa yang dilakukan perusahaan ini" atau "berapa biayanya", jawaban mengutip situs merek sendiri 1.353 kali. 7,1% di antaranya salah menyampaikan fakta (96). Saat situs merek tidak termasuk dalam kutipan, 15,3% salah (47 dari 307, interval 11,7% hingga 19,8%).
Pada pertanyaan pembeli yang tidak menyebut merek, tidak ada selisih yang jelas: 4,8% dibandingkan 5,7%, dengan hitungan yang jauh lebih kecil. Ini korelasi, bukan uji. Tetapi ini menunjuk ke perbaikan termurah yang ada: saat mesin menggambarkan Anda, ia lebih sering benar jika sedang membaca Anda.
176 fakta keliru, 162 di antaranya hanya terlihat sekali
Kelompokkan klaim yang salah menurut merek, fakta, dan nilai, dan 200 klaim itu menyusut menjadi 176 fakta keliru yang berbeda. 162 di antaranya muncul dalam satu jawaban saja. Hanya 14 yang berulang, dan hanya 8 yang muncul di lebih dari satu mesin.
Itu mengubah cara bertindak. Harga salah yang dinyatakan satu mesin sekali adalah undian yang mungkin tidak akan Anda lihat lagi. Yang terus kembali, atau muncul di dua mesin, berasal dari suatu tempat, dan tempat itu biasanya sebuah halaman. Kami juga menemukan 65 fakta keliru tentang 17 merek di halaman yang dikutip mesin: halaman pihak ketiga yang sudah memuat kesalahan itu.
Apa yang perlu dibuka di balik tingkat sebutan Anda sendiri
Alat yang hanya menampilkan tingkat tidak bisa memberi tahu Anda semua ini. Mintalah jawabannya.
- Baca teks jawaban lengkap untuk setiap pertanyaan tempat Anda disebut, dimulai dari yang paling sering menyebut Anda.
- Cek setiap klaim tentang Anda terhadap halaman harga, produk, dan tentang Anda. Harga, jumlah, dan tanggal pendirian paling cepat usang.
- Pastikan jawaban itu tentang Anda. Perusahaan dengan nama mirip bisa terhitung sebagai sebutan Anda.
- Buka halaman yang dikutip. Jika situs Anda sendiri tidak ada di antaranya, mesin sedang menggambarkan Anda dari halaman orang lain.
- Hitung pengulangan sebelum bertindak. Perbaiki dulu klaim yang berulang lintas hari atau mesin, dan temukan halaman asalnya.
Cara Proofsource menanganinya
Proofsource menyimpan teks lengkap dan halaman yang dikutip dari setiap jawaban. Untuk setiap jawaban yang menyebut merek Anda, Proofsource mengecek klaim tentang Anda terhadap fakta yang Anda konfirmasi dan fakta yang dibaca dari situs Anda sendiri, dan hanya mempertahankan putusan salah saat klaim yang dikutip dan nilai yang benar sama-sama muncul kata demi kata. Nilai salah yang sama yang terlihat lagi menambah hitungan satu peringatan alih-alih memunculkan peringatan baru, dan jawaban tentang perusahaan lain dengan nama mirip ditandai alih-alih dihitung sebagai milik Anda.
Di mana ini bisa keliru
Pemeriksanya adalah model bahasa yang membaca terhadap fakta yang tersimpan. Kami membaca secara manual 25 dari 200 klaim yang salah: 21 adalah kontradiksi yang jelas, dan 4 lemah (detail yang hilang dibaca sebagai kesalahan, sebuah rentang, daftar fakta yang tidak konsisten dengan dirinya sendiri, dan klaim tentang produk lain). Pemeriksa juga hanya menilai klaim yang cocok dengan fakta yang tersimpan. 5.330 klaim lainnya tidak memiliki fakta yang cocok dan tidak dinilai, sehingga kesalahan tentang apa pun yang tidak pernah ditulis merek akan terlewat.
Fakta milik merek pun bisa usang, yang akan mengubah jawaban yang benar menjadi "salah" yang keliru. 80 merek itu sebagian besar perusahaan kecil yang mendaftar ke Proofsource, bukan sampel acak, dan dua belas hari adalah periode yang singkat, yang juga membatasi seberapa sering fakta keliru berkesempatan berulang.
Perbandingan dari luar: Searchable meminta karyawan di 1.704 merek menilai 32.556 fakta yang dinyatakan mesin AI tentang mereka, dan mereka menandai 9,2% sebagai keliru, dengan harga sebagai kategori terburuk di 13,5%. Penilai mereka bisa menandai apa pun yang mereka tahu salah, termasuk detail usang, yang lebih luas daripada pengecekan berbasis pencocokan fakta kami dan kemungkinan menjadi alasan tingkat mereka lebih tinggi. Mereka juga menemukan Perplexity sebagai yang paling tidak akurat dari tiga mesin yang mereka bandingkan, kebalikan dari urutan kami.
