Tidak ada yang memberi tahu apa yang harus dilakukan dengan dua angka yang sudah ada di layar Anda
Angka visibilitas AI Anda bergeser. Putaran minggu lalu menyebut 42% prompt Anda menyebut Anda, minggu ini 30%. Dua belas poin. Sebelum mencari apa yang rusak, ada pertanyaan yang lebih kecil yang menghalangi: apakah benar-benar ada yang terjadi?
Saran yang dipublikasikan tipis, dan semuanya tentang pengukuran Anda berikutnya. Ambil lebih banyak sampel. Lacak mingguan, bukan harian. Jaga set prompt tetap. Cukup masuk akal, dan tidak membantu untuk dua pembacaan yang sudah Anda miliki. Jadi sebagian besar orang kembali ke hal yang dipermudah dasbor dan mengecek apakah error bar-nya tumpang tindih. Itu uji yang salah, dan salahnya ke arah yang hampir tidak diduga siapa pun.
Dua interval 95% tumpang tindih lebih dari 99% dari waktu saat tidak ada yang berubah
Mark Payton, Matthew Greenstone, dan Nathaniel Schenker menghitungnya di Journal of Insect Science pada 2003. Ambil dua sampel dari populasi yang benar-benar identik dan beri interval kepercayaan 95% pada masing-masing. Seberapa sering interval itu tumpang tindih? Perhitungan sampel besar mereka menempatkannya di atas 99%, dan simulasi mereka, 10.000 pasang pada n=10, menghasilkan 0,995.
Jadi mengecek apakah interval 95% tumpang tindih bukanlah uji 5%. Lebih dekat ke uji 1%. Anda hampir tidak pernah akan menyatakan sebuah perbedaan nyata, termasuk ketika memang nyata.
Makalah yang sama menjalankan kasus sebaliknya. Error bar standar biasa tumpang tindih 84,3% dari waktu saat tidak terjadi apa-apa, jadi menilainya dengan mata adalah uji dengan tingkat alarm palsu mendekati 15%. Satu dari enam kali Anda mencari penyebab yang tidak ada.
Mereka juga memberi koreksinya. Agar pengecekan tumpang tindih berperilaku seperti uji 5%, dengan galat standar yang kira-kira sama, intervalnya perlu selebar sekitar 83% atau 84%. Pada n=10, interval 84% mereka tumpang tindih 94,9% dari waktu, yaitu 5% yang Anda cari.
Satu penurunan, tiga putusan, dan industri memakai yang paling senyap
Terapkan hitungan nyata pada pergeseran 42% ke 30% itu. Misalkan ada 200 prompt di satu mesin, 84 menyebut Anda di putaran pertama dan 60 di putaran kedua.
- Interval Wilson 95%: 42% berada di 35,4% hingga 48,9%, dan 30% berada di 24,1% hingga 36,7%. Keduanya tumpang tindih sekitar satu poin. Putusan: tidak ada apa-apa.
- Uji dua proporsi standar pada dua angka yang sama: z = 2,50, p = 0,012. Putusan: nyata.
- Interval Wilson 84%, sesuai koreksi di atas: 37,2% hingga 47,0% berbanding 25,7% hingga 34,7%. Terpisah jelas. Putusan: nyata, dan kini sejalan dengan uji tadi, yang memang tujuan penyesuaiannya.
Prompt yang sama dijalankan dua kali adalah pengukuran berpasangan, dan di situlah kekuatannya
Ada kesalahan yang lebih besar di bawah ketiganya. Uji dua proporsi memperlakukan putaran sebagai sampel independen. Padahal tidak. Jalankan ulang 200 prompt yang sama di mesin yang sama dan setiap prompt diukur dua kali, jadi perbandingannya harus dilakukan prompt demi prompt.
Sebagian besar prompt tidak akan bergeser, dan prompt yang menyebut Anda di kedua putaran atau di tidak satu pun tidak memberi tahu apa pun tentang perubahan. Informasinya sepenuhnya ada di prompt yang berbalik.
Misalkan 30 prompt berhenti menyebut Anda dan 6 mulai menyebut Anda. Selisih bersih yang sama, 24 prompt, 12 poin yang sama. Uji McNemar pada 36 pembalikan itu, uji standar untuk data biner berpasangan, memberi chi-square 16,0 dengan 1 derajat kebebasan, jadi p sekitar 0,00006. Uji independen pada data identik menyebut 0,012. Pemasangan membuang varians yang berasal dari perbedaan antar-prompt, dan menyisakan varians yang sebenarnya Anda tanyakan.
Ubah set prompt Anda di antara putaran dan Anda kehilangan itu, dan tidak ada statistik yang bisa mengembalikannya. Jaga set tetap dan mulai prompt baru sebagai seri tersendiri.
Peringatan kami juga memakai gerbang konservatif, dan inilah harganya bagi Anda
Aturan peringatan kami membutuhkan dua hal. Interval Wilson pada skor lama dan baru tidak boleh tumpang tindih, dan pergeserannya harus melewati ambang yang Anda tetapkan ke arah yang Anda pilih. Pengecekan interval berjalan lebih dulu, jadi jika bar-nya bersentuhan tidak ada yang berbunyi, apa pun kata ambangnya.
Itu gerbang konservatif dan kami memilihnya dengan sengaja. Peringatan yang tidak dipercaya siapa pun lebih buruk daripada tanpa peringatan. Namun menurut angka di atas, itu kira-kira uji 1%, jadi penurunan 12 poin dalam contoh tadi lolos tanpa suara. Itu harga yang nyata, dan kami lebih memilih menuliskannya daripada membiarkan Anda menemukannya sendiri.
Di bawah hitungan itu ada batas dasar yang lebih penting. Jalankan ulang set prompt yang identik pada situs yang tidak disentuh siapa pun dan angkanya tetap bergeser, karena mesin tidak mengulang dirinya sendiri. Dokumentasi OpenAI sendiri menyatakannya terang-terangan: chat completions secara default non-deterministik, dan bahkan dengan seed yang diatur, sistem mereka "will make a best effort to sample deterministically" dan "determinism is not guaranteed". Di seluruh sampel kami sendiri, kami melihat 9 hingga 27% dari set yang disebut berganti dari satu hari ke hari berikutnya, dan besarnya bergantung pada mesin. Itu tanpa ada yang memublikasikan apa pun.
Karena itulah Proofsource menjalankan laporan uji-ulang: prompt tetap yang sama, mesin yang sama, dua kali sehari, pada situs yang tidak berubah. Laporan itu memberi Anda besarnya fluktuasi Anda sendiri sebelum Anda menetapkan ambang di atasnya. Lewatkan itu dan ambang Anda hanyalah tebakan.
Di mana ini bisa keliru
Payton dan rekan-rekannya menurunkan hasil mereka untuk rata-rata dari populasi normal, dengan asumsi galat standar yang sama dan sampel besar. Visibilitas adalah proporsi, dan interval Wilson menjadi asimetris di dekat 0 dan 100%. Arahnya berlaku dengan jelas, tumpang tindih 95% terlalu konservatif untuk uji 5%, tetapi anggap 83 hingga 84% sebagai pedoman kasar untuk kasus kami, bukan bukti tentangnya. Di dekat nilai ekstrem, jalankan ujinya sendiri.
Contoh tadi adalah hitungan, bukan pengukuran. 200 prompt, angka 84 dan 60, 30 pembalikan berbanding 6, adalah angka yang kami pilih agar konsisten dan menunjukkan selisihnya. Angka Anda akan berbeda, dan pembagian pembalikannya itulah yang perlu dilihat.
Signifikansi statistik dan "Anda yang menyebabkannya" adalah klaim yang terpisah, dan hanya yang pertama yang dibahas di sini. p sebesar 0,00006 terhadap fluktuasi sampel menyatakan perilaku mesin berubah di antara dua putaran. Itu tidak menyatakan apa pun tentang alasannya. Dengan tingkat pergantian seperti yang kami ukur, pergeseran yang signifikan tetap bisa merupakan mesin yang bergeser dengan sendirinya.
Angka 9 hingga 27% itu milik kami. Itu yang kami lihat di mesin-mesin yang kami ambil sampelnya, bukan konstanta yang dipublikasikan, dan tidak menggantikan pengukuran milik Anda sendiri.
