ChatGPT menyebut merek di 12,4% pertanyaan pembeli sebelum GPT-6 dan 13,0% sesudahnya
OpenAI memperkenalkan GPT-6 di ChatGPT pada 7 Oktober 2026, dimulai dari paket berbayar, dan menyatakan pengguna Free dan Go akan mendapatkannya sejak hari berikutnya. Kami membaca jawaban ChatGPT dari halamannya dalam keadaan logout sebagai pengunjung AS, dan analisis ini hanya memakai jawaban itu, jadi kami berada di sisi gratis dari peluncuran tersebut. Nama model yang dilaporkan halaman dalam jawaban kami beralih dari gpt-5-6 ke gpt-6 pada larut malam 8 Oktober, UTC, dan tetap di sana.
Itu memberi kami perbandingan sebelum dan sesudah pada pertanyaan yang sama. Kami mengambil setiap pertanyaan pembeli (yang tidak menyebut merek) yang dijawab ChatGPT di bawah kedua label antara 4 dan 18 Oktober: 188 pertanyaan untuk 16 merek, 362 jawaban di GPT-5.6 dan 349 di GPT-6.
Dirata-ratakan per pertanyaan, ChatGPT menyebut merek 12,4% dari waktu sebelum peralihan dan 13,0% sesudahnya. Selisihnya 0,6 poin, dengan interval 95% minus 1,8 hingga plus 2,9. Dari 30 pertanyaan tempat merek muncul setidaknya sekali, 4 berubah dari biasanya disebut menjadi biasanya tidak, dan 3 sebaliknya.
Jawaban bertambah panjang 40% dan mengutip 64% lebih banyak sumber
188 pertanyaan yang sama mendapat jawaban yang sangat berbeda dalam segala hal lainnya.
- Panjang: rata-rata 529 kata per jawaban sebelumnya, 738 sesudahnya. 167 dari 188 pertanyaan mendapat jawaban yang lebih panjang.
- Struktur: jumlah judul per jawaban kira-kira berlipat dua, dari sekitar 4 menjadi 8. Butir dan tabel kurang lebih tetap, jadi panjang tambahannya masuk ke lebih banyak bagian.
- Kutipan: 5,1 tautan yang dikutip per jawaban sebelumnya, 8,4 sesudahnya, dari 4,0 domain berbeda menjadi 5,9.
- Pencarian: ChatGPT menjalankan lebih sedikit pencarian untuk sampai ke sana, 3,0 per jawaban sebelumnya dan 2,0 sesudahnya.
Claude, Perplexity, dan AI Overviews nyaris tidak berubah pada pertanyaan yang sama
Kalender bisa menipu di sini. Merek mengedit halaman, rangkuman diperbarui, dan pipeline kami sendiri berubah. Jadi kami membagi pertanyaan pembeli yang sama pada tanggal yang sama di tiga mesin yang tidak berganti model minggu itu.
Jawaban Claude berubah dari 256 kata menjadi 255, Perplexity dari 233 menjadi 243, dan Google AI Overviews dari 293 menjadi 334. Kutipan per jawaban bergerak kurang dari satu di ketiganya. Tingkat merek di masing-masing bergerak kurang dari 2,5 poin, kurang lebih sama dengan ChatGPT. Jadi perubahan panjang dan sumber adalah milik model ChatGPT, dan tingkat merek yang stabil bukanlah sesuatu yang tidak dimiliki mesin lain.
Situs Anda sendiri mungkin sedikit lebih sering dikutip, dan kami belum bisa memastikannya
Situs merek sendiri dikutip di 7,6% jawaban ChatGPT untuk pertanyaan pembeli ini sebelum peralihan dan 10,8% sesudahnya. Itu arah yang Anda harapkan saat jawaban membawa lebih banyak sumber. Tetapi interval perubahannya berkisar dari minus 0,1 hingga plus 6,8 poin, dan bertumpu pada 9 pertanyaan yang mulai mengutip situs merek dibandingkan 5 yang berhenti. Terlalu sedikit untuk disimpulkan.
Apa yang perlu dicek saat sebuah mesin merilis model baru
Refleks umumnya adalah menganggap rilis model sebagai pengaturan ulang dan mulai menulis ulang halaman. Berdasarkan bukti ini, tunggu seminggu dan lakukan pengecekan.
- Cari tahu model mana yang menghasilkan setiap jawaban. Garis tren yang mencampur dua model tanpa memberi tahu akan menyembunyikan peralihan atau mengarang peralihan.
- Bandingkan pertanyaan yang sama sebelum dan sesudah. Kumpulan pertanyaan yang berbeda di masing-masing sisi tidak memberi tahu apa pun tentang modelnya.
- Bandingkan dengan mesin yang tidak berubah di minggu yang sama. Jika keduanya bergerak, penyebabnya bukan model.
- Baca kutipannya, bukan hanya tingkat sebutan. Dalam data kami, model mengubah apa yang dikutip ChatGPT jauh lebih besar daripada apakah ia menyebut merek.
Cara Proofsource menanganinya
Setiap jawaban yang disimpan Proofsource menyimpan nama model yang dilaporkan mesin, di samping teks jawaban, sumber yang dikutipnya, dan pencarian yang dijalankannya. Tampilan jawaban menunjukkan model itu, dan baris metode di bawah grafik Visibilitas dan Prompts mencantumkan kedua versi saat sebuah mesin berganti model dalam rentang tanggal, sehingga perbandingan sebelum dan sesudah seperti ini terlihat alih-alih tercampur.
Di mana ini bisa keliru
Ini hanya ChatGPT dalam keadaan logout. Catatan rilis OpenAI menyebut Free dan Go memakai GPT-6 Luna dan paket berbayar GPT-6 Sol, dan kami tidak mengukur Sol. Halaman bantuan model OpenAI masih menggambarkan GPT-5.6 Luna sebagai default Free saat kami membacanya, jadi label gpt-6 adalah yang dilaporkan halaman ke vendor data kami dan kami belum memastikan varian mana itu.
GPT-6 dapat menjawab dengan visual dan elemen interaktif. Kami menangkap jawaban sebagai teks, sehingga apa pun yang hanya muncul di elemen tersebut tidak dihitung.
Sampelnya kecil: 188 pertanyaan untuk 16 merek, sebagian besar perusahaan kecil dengan ruang kerja Proofsource, dan sekitar separuh pertanyaan hanya memiliki satu jawaban di tiap sisi, berselang satu hari. Efek dua atau tiga poin ke arah mana pun masih mungkin. "Disebut" berarti ekstraksi kami menemukan merek dalam jawaban, dan kelewatan dihitung sama di kedua sisi.
Sepuluh hari setelah rilis masih terlalu dini. OpenAI dapat mengganti model di balik sebuah label tanpa mengumumkannya, dan pembaruan berikutnya mungkin berperilaku berbeda dari yang ini.
