Apakah ChatGPT memberi jawaban yang sama kepada semua orang? Tidak, dan inilah alasannya.
Tidak. ChatGPT menulis setiap jawaban dari awal, jadi dua orang yang menanyakan pertanyaan yang sama, atau satu orang yang bertanya dua kali, bisa mendapat jawaban berbeda. OpenAI mendokumentasikan bahwa modelnya non-deterministik secara default, dan produknya menambahkan memori, pencarian web, dan lokasi di atasnya. Bagi merek, artinya satu tangkapan layar membuktikan sangat sedikit: apakah ChatGPT merekomendasikan Anda adalah sebuah tingkat, dan harus diukur di banyak jawaban.
Mengapa ChatGPT memberi jawaban berbeda untuk pertanyaan yang sama?
Karena ia memilih setiap kata dengan mengambil sampel dari probabilitas, bukan dengan mencari balasan yang tersimpan. Dokumentasi API OpenAI menyebutkan bahwa chat completion secara default bersifat non-deterministik, artinya keluaran model bisa berbeda dari satu permintaan ke permintaan lain. Bahkan pengembang yang mengunci setiap pengaturan pun diperingatkan bahwa perubahan konfigurasi model oleh OpenAI sendiri dapat memengaruhi hasilnya.
Dalam jawaban faktual yang singkat, kata-katanya bergeser tetapi isinya tetap. Dalam daftar produk yang direkomendasikan, sampling yang sama menentukan nama mana yang masuk dan dalam urutan apa, sehingga merek dalam daftar bisa berubah dari satu pertanyaan ke pertanyaan berikutnya.
Apakah ChatGPT mempersonalisasi jawabannya untuk setiap pengguna?
Bisa. Memori ChatGPT memungkinkannya mengingat detail dari percakapan sebelumnya dan menggunakannya dalam jawaban berikutnya, dan pengguna dapat menambahkan instruksi khusus tentang diri mereka. Seseorang yang sudah memberi tahu ChatGPT anggaran, lokasi, atau merek favoritnya mungkin mendapat daftar pendek yang dipengaruhi hal itu.
Pengguna bisa menonaktifkan memori, dan obrolan sementara tidak memakainya. Pengunjung yang tidak masuk sama sekali tidak memiliki riwayat. Itulah yang paling mendekati jawaban netral, dan itu pun tetap merupakan sampel.
Apakah lokasi mengubah jawaban ChatGPT?
Saat ChatGPT mencari di web, ya, bisa. Halaman yang dikembalikan pencarian bergantung pada tempat pencarian itu dijalankan, dan alat pencarian web OpenAI untuk developer menerima perkiraan lokasi pengguna, yaitu negara, kota, wilayah, dan zona waktu, untuk menyaring hasil berdasarkan geografi. Pembeli di London dan pembeli di Chicago yang menanyakan "the best payroll software" bisa sama-sama mendapat pilihan lokal, dan kedua jawaban itu benar untuk tempat mereka bertanya. Itulah sebabnya, di paket berbayar Proofsource, setiap pertanyaan dapat diajukan dari pasar yang ditargetkannya dan setiap pasar dibaca secara terpisah.
Apakah jawaban berubah ketika model ChatGPT berubah?
Ya. OpenAI mengganti model di balik ChatGPT dari waktu ke waktu, dan setiap model belajar dari teks yang berbeda serta menimbang sumber secara berbeda. Jawaban bulan lalu mungkin berasal dari model yang berbeda dengan hari ini. Karena itulah pelacak yang cermat mencatat versi model di balik setiap jawaban, seperti yang dilakukan Proofsource.
Seberapa besar sebenarnya jawaban AI berubah dari hari ke hari?
Lebih banyak daripada yang diperkirakan sebagian besar pemilik merek. Dalam sampel Proofsource sendiri, 9% hingga 27% merek yang disebut dalam jawaban sebuah mesin berganti dari satu hari ke hari berikutnya, tergantung mesinnya: Perplexity paling banyak berubah dan Claude paling sedikit. Itu terjadi tanpa ada yang menerbitkan apa pun.
Sampel kecil menyembunyikan hal ini. Dalam contoh publik Tesla, ChatGPT menyebut Tesla dalam 16 dari 25 jawaban pembeli, yaitu 64%, tetapi interval Wilson 95% membentang dari sekitar 45% hingga 80%. 25 jawaban lain di hari lain bisa mendarat di mana saja dalam rentang itu tanpa ada yang berubah.
Tiga alasan dua jawaban berbeda
Setiap jawaban adalah satu undian
Model memilih kata berdasarkan probabilitas, sehingga prompt yang sama bisa menghasilkan daftar yang berbeda.
Memori dan lokasi
Memori yang tersimpan, instruksi khusus, dan lokasi pencarian dijalankan semuanya bisa memengaruhi hasil.
Modelnya berubah
Model baru di balik ChatGPT bisa menyebut merek yang berbeda untuk pertanyaan yang sama.
Bagaimana cara mengukur jawaban ChatGPT yang berubah setiap kali?
Ajukan pertanyaan yang sama berkali-kali, dari sesi tanpa riwayat pribadi, dan laporkan tingkat beserta intervalnya, bukan satu hasil saja. Itulah yang dilakukan Proofsource. Proofsource mengajukan pertanyaan pembeli Anda di ChatGPT, Perplexity, Claude dan Google AI Overviews, menyimpan setiap jawaban, mencatat merek mana yang disebut dan model mana yang menulis setiap jawaban, serta memberi interval Wilson 95% pada setiap tingkat.
Perubahan hanya ditandai jika lebih besar dari intervalnya, jadi Selasa yang sepi tidak dilaporkan sebagai krisis. Metodenya dijelaskan di halaman metodologi, dan uji cobanya adalah 2 hari visibilitas AI penuh, hari ini dan besok.
Apa artinya ini jika Anda mengecek merek Anda sendiri di ChatGPT?
- Chat Anda sendiri adalah tes yang paling tidak andal. Memori dan riwayat Anda bisa mendorong ChatGPT ke arah merek Anda.
- Gunakan chat sementara atau jendela tanpa login untuk tampilan yang lebih bersih, dan ajukan pertanyaan seperti pembeli, tanpa nama merek Anda di dalamnya.
- Tanyakan lebih dari sekali, dan di lebih dari satu hari, sebelum menarik kesimpulan.
- Cek mesin lainnya. Perplexity, Claude, dan Google AI Overviews bisa berbeda pendapat dengan ChatGPT untuk pertanyaan yang sama.
Yang ditanyakan orang tentang jawaban ChatGPT
Jika ChatGPT menyebut merek saya saat saya bertanya, apakah pelanggan saya akan melihat jawaban yang sama?
Belum tentu. Obrolan Anda sendiri bisa membawa memori atau instruksi yang menguntungkan Anda, dan setiap jawaban diambil sampelnya dari awal. Cek dari obrolan sementara atau jendela yang tidak login, tanyakan beberapa kali, dan perlakukan hasilnya sebagai tingkat, bukan ya atau tidak.
Apakah ChatGPT memberi jawaban yang sama kepada semua orang di negara yang sama?
Tidak. Lokasi mempersempit hasil pencarian web, tetapi sampling, memori, dan versi model tetap membuat jawaban berbeda antara dua orang di kota yang sama.
Apakah chat sementara memberi jawaban yang netral?
Ini menghilangkan memori dari gambaran, sehingga menjadi pengecekan yang lebih adil daripada chat biasa Anda. Ini tidak menghilangkan variasi sampel, jadi dua chat sementara tetap bisa berbeda.
Apakah Perplexity, Claude, dan Google AI Overviews juga bervariasi?
Ya. Dalam sampel Proofsource, antara 9% dan 27% merek yang disebut berganti dari hari ke hari tergantung mesinnya, dengan Perplexity paling banyak bergeser dan Claude paling sedikit. Google AI Overviews juga muncul untuk sebagian kueri dan tidak untuk yang lain.
- Dokumentasi API OpenAI: penggunaan lanjutan (keluaran yang dapat direproduksi) developers.openai.com/api/docs/guides/advanced-usage
- Pusat Bantuan OpenAI: FAQ Memori help.openai.com/en/articles/8590148-memory-in-chatgpt
- Dokumentasi API OpenAI: pencarian web (lokasi pengguna) developers.openai.com/api/docs/guides/tools-web-search
Sumber dibaca pada .
Lihat seberapa sering ChatGPT benar-benar menyebut Anda.
Lihat pertanyaan pembeli mana yang menyebut merek Anda, siapa yang disebut sebagai gantinya, dan apa yang perlu diperbaiki. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu.
Google AI OverviewsGoogle AI Mode
