Ditanyakan lagi, merek bertahan 78% dari waktu. Diubah kalimatnya, 55%
Sebagian besar saran tentang menguji pertanyaan pembeli menyebut untuk menanyakan setiap prompt tiga hingga lima kali, karena jawaban berbeda antarputaran. Kami ingin tahu mana yang lebih menggerakkan pembacaan, fluktuasi itu atau susunan kalimatnya, jadi kami mengukur keduanya pada data yang sama.
Sampelnya: 13.994 jawaban dari ruang kerja Proofsource antara 4 dan 15 Oktober 2026. Yaitu 96 merek di 69 ruang kerja dan 1.908 pertanyaan pembeli di ChatGPT, Perplexity, Claude, dan Google AI Overviews, jawaban pertama per pertanyaan, mesin, dan hari, tanpa pertanyaan yang menyebut merek. Pertanyaan setiap merek berada dalam topik, masing-masing satu keputusan pembelian, biasanya dirumuskan dalam tiga hingga lima cara.
Ambil setiap jawaban yang menyebut merek. Lalu lihat pertanyaan yang sama di mesin yang sama pada kali berikutnya kami menanyakannya. 448 dari 578 masih menyebut merek, 77,5% (interval 95% 73,9% hingga 80,7%). Kami membuang 55 pasangan saat mesin mengembalikan jawaban sebelumnya kata demi kata, karena pemutaran ulang bukan undian kedua.
Sekarang lihat frasa lain dari keputusan yang sama, di mesin yang sama, pada hari yang sama. 3.270 dari 5.934 menyebut merek, 55,1%. Satu frasa yang menyebut Anda adalah petunjuk yang lebih lemah untuk frasa saudaranya daripada untuk dirinya sendiri di hari lain.
Semua 15 merek dengan data cukup menunjukkan selisih yang sama
Angka gabungan bisa menyembunyikan satu merek besar yang mengerjakan semuanya, jadi kami menghitungnya per merek: 15 merek memiliki setidaknya sepuluh pasangan dari tiap jenis. Pada kelima belasnya, frasa saudara menyebut merek lebih jarang daripada pengulangan frasa yang sama. Merek median mempertahankan namanya di 35% frasa saudara dan 70% pengulangan.
Pesaing berperilaku sama. Pesaing yang dilacak yang disebut dalam satu jawaban disebut pada frasa saudara hari itu 40,2% dari waktu (24.840 dari 61.804), dan pada frasa yang sama kali berikutnya 77,0% (7.347 dari 9.539).
Dari sisi topik, hasilnya lebih tajam. Pada 840 hari saat sebuah merek disebut setidaknya pada satu frasa sebuah topik di sebuah mesin, merek itu disebut pada setiap frasa hanya 102 kali. 738 lainnya, 87,9%, terbelah.
Pertanyaan head-to-head menyebut merek di 2,9% jawaban
Sebagian selisih itu berasal dari satu bentuk pertanyaan. Pembeli yang bertanya "pesaing A vs pesaing B" mendapat jawaban tentang A dan B. Di 1.822 jawaban semacam itu, merek disebut di 53, 2,9% (2,2% hingga 3,8%). Pertanyaan yang meminta alternatif untuk pesaing yang disebut jauh lebih baik di 14,9%, begitu juga pertanyaan dengan batasan harga atau ukuran tim (15,1%) dan pertanyaan "mana yang terbaik" biasa (13,9%).
Mengeluarkan pertanyaan head-to-head mempersempit selisih tanpa menutupnya: frasa saudara lalu menyebut merek 62,9% dari waktu (2.984 dari 4.746), masih jauh di bawah 77,5%.
Lima cara bertanya tentang baterai jaringan listrik, dua di antaranya tidak pernah menyebut Tesla
Tesla adalah contoh kerja publik kami. Topik penyimpanan energi jaringan listriknya memiliki lima frasa dari satu keputusan, empat mesin, tiga hari pemindaian (4, 8, dan 15 Oktober; jawaban 5 Oktober mengulang 4 Oktober kata demi kata dan tidak dihitung), sehingga ada 12 jawaban baru per frasa.
- "What are the best grid-scale battery storage systems for a utility company?" Tesla disebut di 12 dari 12.
- Alternatif terbaik untuk pesaing yang disebut dalam penyimpanan skala utilitas: 12 dari 12.
- "Which commercial battery energy storage system should I choose for peak shaving at a large facility?" 7 dari 12, dan tidak satu pun di Claude.
- "How much does a utility-scale lithium iron phosphate battery storage system cost per MWh?" 0 dari 12.
- "What should I look for when comparing turnkey battery storage providers for a solar farm?" 0 dari 12.
Kalah pada sebuah frasa dari tidak seorang pun adalah masalah yang berbeda
Dua angka nol terakhir itu bukan pesaing yang mengalahkan Tesla. Tidak satu pun dari 24 jawaban menyebut Tesla atau pemasok mana pun yang disebut tiga frasa lainnya. Mesin menjawab dengan harga per MWh dan daftar periksa pengadaan. Pembeli yang bertanya dengan cara itu mendapat kriteria, dan siapa pun yang menulis kriterianya membentuk daftar pendek yang akan mereka susun nanti.
Jadi saat Anda menguji frasa, pisahkan setiap frasa yang kalah ke dalam dua tumpukan. Ada pihak lain yang disebut: Anda punya daftar pendek yang harus dimasuki, dan halaman yang dikutip mesin memberi tahu di mana. Tidak ada yang disebut: Anda punya panduan yang harus ditulis, jenis halaman yang dikutip mesin saat menjelaskan cara memilih.
Cara menguji frasa, dengan semua ini
Tulis frasa berdasarkan bentuknya. Mengganti "best" dengan "top" hanya menguji sedikit hal. Cakup bentuk-bentuk yang dilalui pembeli: pertanyaan terbuka "mana yang terbaik", pertanyaan yang sama dengan batasan, alternatif untuk pesaing yang disebut, serta pertanyaan biaya atau kriteria.
- Laporkan setiap frasa secara terpisah sebelum merata-ratakannya. Skor topik mencampur 12 dari 12 dan 0 dari 12 menjadi angka sedang yang tidak menggambarkan keduanya.
- Simpan pertanyaan head-to-head dalam kelompoknya sendiri. Pertanyaan itu layak diketahui, dan akan menyeret rata-rata apa pun ke bawah.
- Ulangi setiap frasa di hari yang berbeda, lalu buang jawaban yang merupakan pemutaran ulang kata demi kata.
- Perbaiki frasa yang kalah, lalu tanyakan ulang kalimat persis itu. Kemenangan pada frasa saudaranya tidak dihitung.
Cara Proofsource menanganinya
Proofsource melacak setiap frasa sebagai pertanyaannya sendiri, dikelompokkan ke dalam topik, di setiap mesin dalam paket. Untuk setiap jawaban, Proofsource mencatat merek yang disebut dan halaman yang dikutip, sehingga frasa yang kalah menunjukkan siapa yang disebut sebagai gantinya, atau bahwa tidak ada yang disebut.
Di mana ini bisa keliru
Semua kecuali 18 dari 1.908 frasa dibuat oleh Proofsource dari situs dan pesaing setiap merek, sehingga mengikuti bentuk kami. Pembeli nyata merumuskan sesuatu dengan cara yang tidak kami uji. Sebagian besar pertanyaan ditanyakan pada satu atau dua hari, beberapa hingga sebelas hari, sehingga angka pengulangan bertumpu pada 578 pasangan dan condong ke merek dengan riwayat lebih panjang.
Hitungan pasangan tidak independen: satu jawaban bisa muncul di beberapa pasangan, jadi kami memberi interval hanya jika setiap hitungan terdiri dari jawaban yang terpisah, dan bersandar pada pengecekan per merek untuk perbandingan utama. "Disebut" adalah pembacaan ekstraksi kami atas jawaban, dan kelewatan muncul sebagai selisih di kedua sisi. Dua belas hari di bulan Oktober adalah satu irisan, dan pembaruan model bisa menggeser semuanya.
