Satu pengecekan yang menyebut Anda konsisten dengan tingkat sebenarnya 20,7%
Cara paling umum sebuah merek mengetahui posisinya di pencarian AI adalah seseorang menanyakan pertanyaannya sekali, membaca jawabannya, lalu lega atau panik. Satu jawaban itu kemudian menjadi angka yang diulang semua orang di rapat berikutnya.
Perlakukan sebagaimana adanya. Satu pertanyaan, ditanyakan sekali, dengan hasil ya atau tidak, adalah sampel berukuran satu dari sebuah koin yang biasnya tidak Anda ketahui. Interval skor Wilson adalah cara standar untuk memberi batas pada proporsi semacam itu. Jalankan pada satu keberhasilan dari satu percobaan dengan kepercayaan 95% dan jawabannya 20,7% sampai 100%.
Secara sederhana: model yang menyebut Anda dalam satu pengecekan sepenuhnya konsisten dengan model yang akan menyebut Anda di satu dari lima jawaban. Tangkapan layar tidak bisa membedakan keduanya. Anda pun tidak.
Kegagalan lebih parah lagi. Nol dari satu memberi interval 0% sampai 79,3%, dan tim secara rutin menulis ulang rencana konten berdasarkan persis itu.
Prompt yang sama menghasilkan jawaban berbeda karena siapa lagi yang sedang bertanya
Ini tidak akan penting jika mesin bersifat deterministik. Ternyata tidak, dan alasannya lebih spesifik daripada lambaian tangan biasa soal keacakan. OpenAI menyatakannya dengan gamblang dalam panduan API-nya: Chat Completions secara default tidak deterministik, artinya keluaran model bisa berbeda dari satu permintaan ke permintaan lain. Sebuah seed memberi Anda apa yang disebut halaman yang sama sebagai keluaran yang sebagian besar deterministik, dan OpenAI menyediakan system fingerprint agar Anda tahu kapan perubahan backend menggeser pijakan Anda.
Thinking Machines Lab mengukurnya. Pada September 2025, lab itu mengambil sampel 1.000 penyelesaian dari Qwen3-235B-A22B-Instruct-2507 pada temperatur nol, yaitu greedy sampling yang secara teori seharusnya bisa diulang sempurna, menggunakan prompt "Tell me about Richard Feynman". Mereka mendapat 80 penyelesaian unik, dengan yang paling umum muncul 78 kali. Seluruh 1.000 eksekusi sepakat untuk 102 token pertama dan berpisah di token ke-103: 992 berlanjut dengan "Queens, New York" dan 8 dengan "New York City".
Penyebab yang mereka identifikasi bukan keacakan GPU. Kernel-nya deterministik dari satu eksekusi ke eksekusi lain, tetapi tidak invarian terhadap batch, sehingga sebuah permintaan mendapat aritmetika yang sedikit berbeda tergantung batch tempatnya mendarat, dan ukuran batch ditentukan oleh beban server. Kesimpulan mereka layak dibaca dua kali: alasan utama hampir semua endpoint inferensi LLM tidak deterministik adalah beban, dan karena itu ukuran batch, bervariasi secara tidak deterministik.
Artinya jawaban yang Anda screenshot sebagian bergantung pada berapa banyak orang asing yang mengkueri endpoint yang sama pada detik yang sama. Itu bukan sinyal tentang merek Anda.
Dua puluh sampel masih menyisakan rentang empat puluh poin
Begitu Anda menerima bahwa angka visibilitas adalah proporsi yang diperkirakan dari sampel, pertanyaan berikutnya adalah seberapa besar sampelnya harus. Interval Wilson menjawabnya, dan jawabannya membuat rendah hati. Semua ini mengasumsikan model menyebut Anda 60% waktu:
- 5 sampel, 3 sebutan: 23,1% sampai 88,2%. Rentang 65 poin. Anda tahu mereknya ada.
- 20 sampel, 12 sebutan: 38,7% sampai 78,1%. Rentang 39 poin, sebagian besar skala.
- 40 sampel, 24 sebutan: 44,6% sampai 73,7%. Sekarang Anda bisa menyingkirkan kemungkinan tidak terlihat.
- 100 sampel, 60 sebutan: 50,2% sampai 69,1%. Masih selebar 19 poin.
- 366 sampel: titik pertama di mana interval menyempit menjadi plus minus 5 poin. Mencapai plus minus 3 membutuhkan 1.021.
Sebagian besar pergerakan yang dilaporkan di dasbor visibilitas AI sebenarnya tidak terjadi
Di sinilah aritmetika mulai memakan biaya. Ambil sampel satu prompt 40 kali di minggu pertama dan lihat 24 sebutan, lalu 40 kali di minggu kedua dan lihat 32. Itu terbaca sebagai lompatan dari 60% ke 80%, dan akan masuk ke slide sebelum Jumat.
Kedua intervalnya adalah 44,6% sampai 73,7% dan 65,2% sampai 89,5%. Keduanya tumpang tindih. Ayunan 20 poin pada 40 sampel belum merupakan hasil, dan hal yang benar untuk disampaikan ke ruangan adalah belum ada yang terbukti. Lakukan itu beberapa kali dan orang berhenti mengejar fluktuasi acak.
Inilah sebabnya di Proofsource kami menjadikan interval, bukan estimasi titik, sebagai gerbang peringatan, dan mengapa setiap persentase visibilitas di laporan kami disertai interval Wilson di sampingnya. Peringatan yang terpicu ketika angka melewati sebuah garis akan terus-menerus terpicu pada sistem yang sebising ini. Peringatan yang terpicu ketika interval terpisah akan terpicu ketika sesuatu memang terjadi.
Logika yang sama berlaku untuk nol. Tanpa sebutan dalam 20 sampel menyisakan batas atas 16,1%, dan tanpa sebutan dalam 40 menyisakan 8,8%. Jika Anda ingin mengklaim sebuah mesin tidak pernah menyebut Anda, 40 sampel kira-kira adalah titik di mana klaim itu mulai berarti.
Gunakan interval Wilson, bukan yang diajarkan kepada Anda
Satu catatan teknis, karena alternatif yang jelas gagal tepat pada kasus yang penting di sini. Interval yang dipelajari kebanyakan orang adalah interval Wald, yang dibangun dari pendekatan normal biasa. Pada satu keberhasilan dari satu percobaan, interval itu melaporkan 100% sampai 100%, dan pada nol dari satu melaporkan 0% sampai 0%. Ia memberi tahu Anda satu pengecekan itu pasti, yang justru kesalahan yang sedang kita coba perbaiki.
Ini terdokumentasi dengan baik. Tinjauan Brown, Cai, dan DasGupta di Statistical Science menemukan bahwa cakupan interval Wald yang tidak menentu jauh lebih persisten daripada yang disadari, bahwa resep buku teks umum tentang kapan interval itu aman menyesatkan dan cacat serta tidak bisa dipercaya, dan mereka merekomendasikan Wilson untuk sampel kecil. Sampling mesin jawaban adalah sampel kecil, karena setiap prompt yang Anda lacak punya hitungannya sendiri.
Apa yang dilakukan hari Senin
Tidak satu pun dari ini mengharuskan membeli apa pun. Yang diharuskan adalah mengubah apa yang Anda catat.
- Berhenti melaporkan satu pengecekan. Jika buktinya adalah tangkapan layar, temuannya adalah merek itu bisa muncul, tidak lebih.
- Pilih ukuran sampel sebelum melihat data, dan pertahankan sama setiap periode. Mengubah n di antara pembacaan membuat dua angka tidak bisa dibandingkan meskipun keduanya jujur.
- Laporkan intervalnya, bukan titiknya. Baris yang menunjukkan 60% dengan rentang 45 sampai 74 lebih sulit ditafsirkan berlebihan daripada baris yang hanya menunjukkan 60%.
- Tetapkan ambang peringatan pada pemisahan interval, dan sebar sampelnya di beberapa hari. Dua interval yang tumpang tindih bukanlah perubahan, seberapa pun berbeda titik tengahnya.
Di mana ini bisa salah
Angka Wilson di atas adalah aritmetika eksak atas input yang dinyatakan, jadi angkanya tidak diragukan. Asumsi pemodelan di baliknyalah yang diragukan. Interval Wilson mengasumsikan percobaan independen dengan probabilitas keberhasilan tetap, dan kueri berulang ke mesin langsung tidak sepenuhnya independen: personalisasi, caching, konteks sesi, dan versi model yang dirilis di tengah minggu semuanya melanggarnya. Perlakukan interval ini sebagai batas bawah ketidakpastian Anda, bukan perhitungan lengkapnya.
Eksperimen Thinking Machines menjalankan model open-weights yang di-host sendiri di infrastruktur lab, bukan ChatGPT, Gemini, atau Perplexity. Eksperimen itu menetapkan mekanismenya, bukan variansi produk komersial mana pun, dan tidak satu pun vendor itu mempublikasikan variansinya.
Angka 60% di tabel ukuran sampel bersifat ilustratif. Kami memilihnya karena interval paling lebar di dekat tengah, sehingga itulah kasus konservatifnya. Merek yang berada di 5% atau 95% membutuhkan lebih sedikit sampel untuk presisi absolut yang sama.
Yang akan kami pertahankan adalah arah kesalahannya. Sampel kecil, pengecekan tunggal, dan estimasi titik tanpa interval semuanya mendorong ke arah yang sama, yaitu percaya bahwa Anda sudah mengukur sesuatu padahal belum.
