Kami memiliki API dan chatgpt.com yang menjawab 172 pertanyaan pembeli yang sama
Proofsource membaca ChatGPT dari halamannya dalam keadaan logout, melalui scraper DataForSEO, seperti yang akan dilihat pengunjung di pasar merek tersebut. Saat pembacaan itu gagal, API OpenAI yang menjawab: gpt-5-mini melalui Responses API dengan pencarian web aktif. Itu terjadi pada 428 dari 5.119 jawaban ChatGPT antara 4 dan 18 Oktober 2026, semuanya antara 8 dan 12 Oktober.
Itu menghasilkan perbandingan alami. Kami mengambil setiap pertanyaan pembeli (yang tidak menyebut merek) tempat API menjawab dan chatgpt.com menjawab pertanyaan yang sama dalam 36 jam. 172 pertanyaan, 18 ruang kerja, sebagian besar ditanyakan sebagai pengunjung dari AS atau India. Median selisih antara kedua jawaban adalah 24 jam.
Berselang satu hari tidak sama dengan saat yang sama, dan ChatGPT mengubah jawabannya sendiri dari hari ke hari. Jadi kami juga membutuhkan baseline: 813 pertanyaan pembeli yang dijawab chatgpt.com pada dua hari berturut-turut dengan teks yang berubah, dari 62 ruang kerja dalam dua minggu yang sama. Selisih apa pun yang lebih besar dari baseline itu berasal dari salurannya, bukan dari kalender.
Tingkat merek bertahan: 19,8% di API, 21,5% di chatgpt.com
API menyebut merek di 34 dari 172 pertanyaan. chatgpt.com menyebutnya di 37. Kedua jawaban tidak sepakat soal merek di 19 pertanyaan, 11,0%, sementara chatgpt.com tidak sepakat dengan dirinya sendiri sehari kemudian di 4,6%. Jadi API menambah fluktuasi per pertanyaan, tetapi rata-ratanya mendekati.
API juga menyebut lebih banyak nama. Jawaban API rata-rata menyebut 8,4 perusahaan dibandingkan 6,0 di chatgpt.com, dan tumpang tindih kedua kumpulan nama adalah 33%, dibandingkan 48% untuk chatgpt.com berselang sehari. Untuk pesaing yang dilacak sebuah merek, tumpang tindihnya 66% dibandingkan 76%.
Sumbernya tidak: 22% situs yang dikutip API muncul di jawaban ChatGPT
172 jawaban API mengutip 1.047 situs (dihitung sekali per jawaban). Hanya 229 di antaranya, 21,9%, yang juga dikutip dalam jawaban chatgpt.com untuk pertanyaan yang sama. Saat chatgpt.com menjawab lagi keesokan harinya, 48,6% situsnya berulang. Pada 40 dari 170 pertanyaan yang keduanya mengutip sesuatu, API dan chatgpt.com sama sekali tidak berbagi situs.
Komposisinya juga berbeda. API mengutip Reddit di 41 dari 172 jawaban (23,8%, interval 95% 18,1% hingga 30,7%) dan chatgpt.com di 5 (2,9%). API mengutip Wikipedia di 12 jawaban dan chatgpt.com tidak sama sekali. Scraper kami memang menangkap kedua situs itu saat chatgpt.com mengutipnya; hanya saja chatgpt.com jarang mengutipnya pada pertanyaan ini.
API juga lebih banyak mencari, 4,5 kali per jawaban dibandingkan 3,1. Panjangnya kurang lebih sama, median 583 kata dibandingkan 587.
Surfer menemukan selisih yang lebih besar dengan satu jawaban per saluran
Studi Surfer, dengan data yang dikumpulkan pada 4 Agustus 2026, menjalankan 1.000 prompt melalui lima produk dengan kedua cara. Untuk ChatGPT, studi itu melaporkan tumpang tindih domain 4,8% dan jawaban API sekitar dua kali lebih panjang. Catatan pertimbangannya sendiri menyebut setiap prompt hanya diambil sampelnya sekali, sehingga sebagian selisih berasal dari ChatGPT yang tidak sepakat dengan dirinya sendiri.
Angka kami tidak sedramatis itu, tetapi arahnya sama. Diukur terhadap baseline saluran yang sama, tingkat merek adalah bagian yang kurang lebih benar dari API, dan daftar kutipan adalah bagian yang keliru.
Apa yang perlu ditanyakan ke sebuah alat sebelum memercayai sumbernya
Empat pertanyaan, dan vendor seharusnya bisa menjawab masing-masing dalam satu baris.
- Dari mana jawaban ChatGPT berasal: API, atau halaman yang dilihat pengunjung? Tanyakan per mesin.
- Jika API, model apa, dengan pencarian web aktif atau tidak? Dokumentasi OpenAI menyatakan model yang memutuskan apakah akan mencari, dan pemanggil mengatur kontrol seperti ukuran konteks pencarian dan filter domain yang tidak pernah disentuh pengunjung chatgpt.com.
- Apakah jawaban cadangan diberi label? Grafik yang mencampur dua saluran menyembunyikan peralihannya.
- Gunakan data API untuk tingkat sebutan kasar jika memang harus. Jangan membangun daftar outreach dari kutipannya.
Cara Proofsource menanganinya
Setiap jawaban yang disimpan menyimpan model yang menulisnya, dan tampilan jawaban menunjukkannya, sehingga jawaban cadangan terbaca gpt-5-mini alih-alih menyamar sebagai chatgpt.com. Jawaban cadangan itu memang dihitung dalam angka ChatGPT pada hari-hari saat dijalankan, itulah sebabnya kami mengukur seberapa jauh penyimpangannya.
Di mana ini bisa keliru
Sisi API adalah satu model dengan pengaturan kami: gpt-5-mini, upaya penalaran rendah, konteks pencarian rendah. Alat yang memanggil model lebih besar, atau dengan pengaturan berbeda, bisa lebih dekat atau lebih jauh.
API hanya berjalan saat scraper gagal, pada 8 dan 9 Oktober untuk pasangan ini. Jika kegagalan itu mengenai pertanyaan tertentu, pasangannya bukan undian acak. Baseline berasal dari kumpulan ruang kerja yang lebih luas; dibatasi ke 18 ruang kerja yang sama, tumpang tindih situs tetap 31,7% dan tumpang tindih nama 44,2%.
chatgpt.com beralih dari GPT-5.6 ke GPT-6 pada 8 Oktober, sehingga 41 dari 172 jawaban chatgpt.com berasal dari model yang lebih baru. Tumpang tindihnya serupa di kedua sisi peralihan.
Situs dibandingkan per domain, sehingga dua halaman berbeda di situs yang sama dihitung cocok. Tumpang tindih per halaman akan lebih rendah. Nama dan kutipan berasal dari ekstraksi kami sendiri, dan kelewatan dihitung sama di kedua saluran.
