Satu jawaban menyebut Anda
Minggu ini1 dari 1
100%
Visibilitas: 100%. Pertanyaan ini milik Anda.
Satu angka bisa goyah. Interval 95% menunjukkan mana yang nyata.
Ajukan pertanyaan yang sama dua kali ke AI dan Anda mendapat angka yang berbeda. Setiap angka Proofsource disertai rentang, sehingga Anda bisa membedakan perubahan nyata dari kebetulan.
200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu.
Tingkat sebenarnya ada di sekitar siniInterval 95%
43% hingga 62%
0%50%100%
Pita itu adalah interval 95%. Satu angka bisa goyah. Pitanya menunjukkan mana yang nyata.
Data yang sama, dua laporan. Mana yang akan Anda tindak lanjuti?
Angka tanpa rentangnya bisa tepat sekali dan tetap membawa Anda ke arah yang salah. Beralihlah di antara kedua pembacaan.
Penurunan yang ternyata tidak ada
Minggu lalu4 dari 10
40%
Minggu ini2 dari 10
20%
Visibilitas turun separuh, 40% ke 20%. Ada yang rusak.
Papan peringkat yang terlalu rapat
Merek Anda6 dari 10
60%
Pesaing4 dari 10
40%
Anda unggul, 60% berbanding 40%.
Kemenangan yang nyata
Sebelum perbaikan60 dari 200
30%
Setelah perbaikan100 dari 200
50%
Visibilitas naik dari 30% ke 50%.
Setiap judul di atas benar secara aritmetika, dan tiga dari empatnya akan mengarahkan Anda ke jalan yang salah. Beralih untuk melihat alasannya.
Angka lebih kecil yang bisa Anda percaya lebih baik daripada angka lebih besar yang tidak nyata. Itulah alasan rentang itu ada.
Jawaban satu kalimat
53 dari 100 jawaban menyebut Tesla, jadi tingkat sebutannya 53%, dengan interval 95% dari 43% hingga 62%. Ajukan pertanyaan pembeli yang sama lagi dan 53% akan sedikit berbeda setiap kali; interval adalah rentang yang dibuat sedemikian rupa sehingga, 19 dari 20 kali, rentang itu memuat tingkat yang akan Anda dapat jika bisa bertanya selamanya.
Titik adalah tingkat yang kami ukur, 53,0%. Batang adalah interval 95%, 43,3% sampai 62,5%. Bacanya begini: Tesla disebut di antara sekitar 43% dan 62% jawaban atas pertanyaan ini, kemungkinan besar sekitar 53%.
Pantau: ajukan pertanyaan yang sama berulang kali
Tidak ada yang berubah di antara laporan-laporan ini: tingkat sebenarnya tetap. Hanya kebetulan yang mengubah jawaban mana yang kembali. Tekan tombolnya dan lihat di mana setiap laporan mendarat.
Tingkat sebenarnya (yang akan Anda dapat jika bertanya selamanya)
Jawaban per laporan
10 laporan, masing-masing dari 25 jawaban. Angka utamanya berkisar dari 24.0% hingga 52.0%, padahal tidak ada yang berubah: tingkat sebenarnya tetap 40%.
10 dari 10 rentang (100%) memuat tingkat sebenarnya, yang ditandai garis putus-putus. Terus bertanya dan angkanya stabil di 93.6% untuk pengaturan ini, mendekati 19 dari 20: jawaban berupa bilangan bulat, jadi angka pastinya sedikit bergeser di sekitar 95%. Belum ada yang terlewat; terus bertanya dan sesekali yang oranye akan muncul.
Coba angka Anda sendiri
Perhitungan yang sama yang dijalankan produk pada setiap angka: interval skor Wilson pada 95%.
53,0% tingkat sebutan
Interval 95%: 43,3% sampai 62,5%, sekitar 9.6 poin ke atas maupun ke bawah.
Naikkan jumlah jawaban dan lihat rentangnya menyempit: empat kali jawaban, kira-kira separuh lebarnya.
Mengapa jawaban AI memerlukan rentang
Mesin AI tidak memberi jawaban yang sama dua kali. Tanyakan pertanyaan yang sama besok, atau ubah sedikit kata-katanya, dan merek yang disebut pun berubah.
Dalam pelacakan kami sendiri, 47% perubahan harian pada jawaban AI berbalik keesokan harinya (40 pertanyaan pembeli, empat mesin, hingga sembilan hari). Merek yang disebut pada satu rumusan pertanyaan hanya disebut pada rumusan yang diubah sebesar 55% (13.994 jawaban).
Jadi satu jawaban, atau satu hari, hanyalah satu undian dari target yang terus bergerak. Interval mengubah banyak undian menjadi pernyataan yang jujur: tingkatnya, dan seberapa yakin kita terhadapnya.
Lebih banyak jawaban, rentang lebih sempit
Lebarnya terutama bergantung pada berapa banyak jawaban di balik angka itu. Geser di sepanjang kurva.
| Jawaban | Disebut (pada 30%) | Interval Wilson 95% | Plus atau minus |
|---|---|---|---|
| 10 | 3 dari 10 | 10,8% hingga 60,3% | sekitar 24,8 poin |
| 25 | 8 dari 25 | 17,2% hingga 51,6% | sekitar 17,2 poin |
| 50 | 15 dari 50 | 19,1% hingga 43,8% | sekitar 12,3 poin |
| 100 | 30 dari 100 | 21,9% hingga 39,6% | sekitar 8,8 poin |
| 200 | 60 dari 200 | 24,1% hingga 36,7% | sekitar 6,3 poin |
| 400 | 120 dari 400 | 25,7% hingga 34,7% | sekitar 4,5 poin |
| 1.000 | 300 dari 1.000 | 27,2% hingga 32,9% | sekitar 2,8 poin |
Apakah perubahan itu nyata, atau gangguan?
Pertanyaan yang muncul di setiap laporan mingguan. Tiga aturan menjawabnya.
- Rentangnya tidak bersentuhan: perubahannya nyata. Tindak lanjuti.
- Rentangnya bersentuhan: itu tidak membuktikan tidak ada yang berubah. Dua rentang 95% dari sampel identik tumpang tindih lebih dari 99% waktu, jadi tumpang tindih adalah uji yang sangat ketat (mengapa error bar yang tumpang tindih bukan ujiannya). Sebagai gantinya, bandingkan pertanyaan yang berubah dari disebut menjadi tidak disebut, dan sebaliknya.
- Peringatan kami sengaja dibuat ketat: hanya terpicu saat rentangnya terpisah dan pergerakannya melewati ambang yang Anda tetapkan, jadi peringatan yang Anda terima adalah peringatan yang bisa Anda percaya.
Apa itu interval Wilson
Metode di balik setiap rentang yang kami tampilkan, dipublikasikan oleh ahli statistik Edwin B. Wilson pada 1927 dan direkomendasikan literatur statistik untuk tingkat dari sejumlah kecil hasil ya-atau-tidak.
Setiap jawaban AI entah menyebut merek Anda atau tidak, sehingga tingkat sebutan adalah porsi dari hasil ya-atau-tidak: yang oleh ahli statistik disebut proporsi binomial. Metode Wilson menggambar rentang di sekitar porsi itu dalam dua langkah. Metode ini menggeser titik tengah sedikit ke arah 50%, lebih banyak bila jawabannya sedikit, lalu menggambar rentang di sekitar titik tengah itu yang lebarnya bergantung pada tingkat dan jumlah jawaban. Dengan p sebagai porsi jawaban yang menyebut Anda, n jumlah jawaban, dan z = 1,96 untuk 95%:
centre = (p + z^2/(2n)) / (1 + z^2/n) half-width = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) ) 95% range = centre - half-width to centre + half-width
Rumus yang lebih sederhana dari kebanyakan buku teks, tingkat plus atau minus 1,96 galat baku (interval Wald), gagal tepat di tempat visibilitas AI berada: sampel kecil dan tingkat yang mendekati 0% atau 100%. Jawaban yang sama, dengan kedua cara:
| Jawaban | Tingkat | Simple plus-or-minus | Wilson 95% |
|---|---|---|---|
| 53 of 100 | 53,0% | 43,2% to 62,8% | 43,3% to 62,5% |
| 2 of 25 | 8,0% | -2,6% to 18,6%, di bawah nol | 2,2% to 25,0% |
| 0 of 25 | 0,0% | 0,0% to 0,0%, sama sekali tanpa rentang | 0,0% to 13,3% |
| 25 of 25 | 100,0% | 100,0% to 100,0%, sama sekali tanpa rentang | 86,7% to 100,0% |
Itulah sebabnya tinjauan Brown, Cai, dan DasGupta atas metode umum di Statistical Science (2001) merekomendasikan Wilson untuk sampel 40 atau kurang, mengapa Agresti dan Coull (1998) mendapati metode ini mencakup tingkat sebenarnya lebih andal daripada rumus buku teks, dan mengapa perbandingan tujuh metode oleh Newcombe di Statistics in Medicine (1998) mengunggulkannya. Dasbor, laporan, ekspor, dan API semuanya menghitung interval Wilson yang sama, sehingga sebuah angka bermakna sama di mana pun Anda membacanya. Rumus beserta contohnya juga ada di Apa itu interval Wilson?, dan setiap angka yang kami hitung dijelaskan di Metodologi.
Referensi
Makalah di balik metodenya, agar Anda bisa mengecek perhitungannya sendiri.
- Journal of the American Statistical Association1927
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212.
Makalah aslinya: score interval untuk proporsi yang dipakai rentang kami.
Buka di doi.org - Statistical Science2001
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101-133.
Tinjauan standar atas metode-metode ini. Menunjukkan bahwa interval plus-minus ala buku teks berperilaku buruk dan merekomendasikan Wilson untuk sampel kecil.
Buka di doi.org - The American Statistician1998
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119-126.
Menemukan bahwa interval (skor) Wilson mencakup tingkat sebenarnya dengan lebih andal dibanding rumus buku teks.
Buka di doi.org - Statistics in Medicine1998
Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine, 17(8), 857-872.
Membandingkan tujuh metode pada kasus yang sama dan mengunggulkan interval skor Wilson.
Buka di doi.org - NIST e-Handbook of Statistical MethodsNIST
NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1: Confidence intervals for a proportion.
Buku panduan National Institute of Standards and Technology AS menyajikan metode Wilson, dengan catatan bahwa metode ini direkomendasikan oleh Brown, Cai, dan DasGupta serta oleh Agresti dan Coull.
Buka di itl.nist.govBebas dibaca - Journal of Insect Science, on PubMed Central2003
Payton, M. E., Greenstone, M. H., & Schenker, N. (2003). Overlapping confidence intervals or standard error intervals: what do they mean in terms of statistical significance? Journal of Insect Science, 3(1), 34.
Mengapa dua rentang 95% yang tumpang tindih tidak berarti tidak ada yang berubah: tumpang tindih berperilaku seperti uji di sekitar 1%, bukan 5%.
Buka di pmc.ncbi.nlm.nih.govBebas dibaca - Psychometrika1947
McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157.
Uji untuk membandingkan pertanyaan yang sama yang diajukan dua kali, berdasarkan pertanyaan yang hasilnya berbalik.
Buka di doi.org - Evan MillerEssay
Miller, E. How not to sort by average rating.
Penjelasan dengan bahasa sederhana yang banyak dibaca tentang alasan memakai interval Wilson saat mengurutkan item berdasarkan porsi suara ya atau tidak.
Buka di evanmiller.orgBebas dibaca
Pertanyaan umum tentang interval 95%
Apakah 95% berarti kami 95% yakin angka kami benar?
Tidak persis. Artinya, metode yang menghasilkan rentang itu menangkap tingkat sebenarnya 19 dari 20 kali. Setiap rentang tunggal entah memuat tingkat sebenarnya atau tidak; 95% adalah seberapa sering metode itu benar di banyak pengukuran.
Mengapa tidak tampilkan persentasenya saja?
Karena persentase dari sedikit jawaban AI bisa banyak berubah secara kebetulan. Tanpa rentang, penurunan dari 53% ke 45% terlihat seperti berita padahal mungkin hanya fluktuasi acak. Rentang menunjukkan seberapa jauh angka bisa bergoyang sebelum berarti sesuatu.
Mengapa rentangnya tidak simetris di dekat 0% dan 100%?
Tingkat tidak bisa di bawah 0% atau di atas 100%, sehingga metode Wilson membelokkan rentang menjauhi batas. 2 dari 25 jawaban menghasilkan sekitar 2% hingga 25%, bukan 8% plus minus 11% yang simetris, yang akan turun di bawah nol.
Bagaimana cara mempersempit rentangnya?
Tambah jumlah jawaban: lebih banyak pertanyaan pembeli, lebih banyak mesin, atau lebih banyak hari pelacakan. Lebarnya menyusut sebanding dengan akar kuadrat jumlah jawaban, jadi empat kali lipat jawaban kira-kira membuatnya setengah.
Apakah rentang tersebut mencakup semua hal yang bisa salah?
Tidak. Interval itu mencakup unsur kebetulan dalam jawaban yang kebetulan kami dapat. Interval tidak mencakup pertanyaan mana yang ditanyakan, perubahan mesin antarhari, atau jawaban yang kami nilai keliru. Hal-hal itu ditangani dengan memilih pertanyaan yang benar-benar ditanyakan pembeli, bertanya ulang sesuai jadwal, dan menyimpan jawabannya agar Anda bisa mengeceknya.
Dua batang saya tumpang tindih. Apakah tidak ada yang berubah?
Belum tentu. Dua rentang 95% dari sampel yang identik tumpang tindih lebih dari 99% waktu, jadi tumpang tindih adalah uji yang sangat ketat dan melewatkan perubahan nyata. Saat batangnya tidak bersentuhan, perubahannya nyata. Saat bersentuhan, bandingkan pertanyaan yang jawabannya berubah.
Baca selanjutnya
Daftar pendek sedang ditulis saat ini juga.
Lihat pertanyaan pembeli mana yang menyebut merek Anda, siapa yang disebut sebagai gantinya, dan apa yang perlu diperbaiki. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu.
200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis.
Google AI OverviewsGoogle AI Mode
Google AI OverviewsGoogle AI Mode