Bir yanıt sizi andı
Bu hafta1/1
100%
Görünürlük: %100. Bu soru sizin.
Tek bir sayı oynar. %95 aralığı neyin gerçek olduğunu gösterir.
Yapay zekâya aynı soruları iki kez sorun, farklı bir sayı alırsınız. Proofsource'taki her sayı bir aralıkla gelir; böylece gerçek bir değişikliği şanstan ayırabilirsiniz.
200 yanıt. 25 Prompts/soru. En iyi yapay zekâ motorları. 2 gün. Ücretsiz. Kart gerekmez.
Gerçek oran buralarda bir yerde%95 aralığı
%43 - %62
0%50%100%
O bant %95 aralığıdır. Tek bir sayı dalgalanır. Bant neyin gerçek olduğunu söyler.
Aynı veri, iki rapor. Hangisine göre harekete geçerdiniz?
Aralığı olmayan bir sayı tam olarak doğru olup yine de sizi yanlış yöne gönderebilir. İki okuma arasında geçiş yapın.
Aslında yaşanmayan düşüş
Geçen hafta4/10
40%
Bu hafta2/10
20%
Görünürlük yarıya indi, %40'tan %20'ye. Bir şey bozuldu.
Fazla yakın olan sıralama
Markanız6/10
60%
Rakip4/10
40%
Öndesiniz, %60'a %40.
Gerçek olan kazanım
Düzeltmeden önce60/200
30%
Düzeltmeden sonra100/200
50%
Görünürlük %30'dan %50'ye çıktı.
Yukarıdaki her başlık aritmetik olarak doğru ve dördünden üçü sizi yanlış yöne gönderir. Nedenini görmek için geçiş yapın.
Güvenebileceğiniz daha küçük bir sayı, gerçek olmayan daha büyük bir sayıdan iyidir. Aralığın orada olmasının tek nedeni budur.
Tek satırlık yanıt
100 yanıtın 53 tanesi Tesla’yı andı; yani bahsedilme oranı 53%, %95 aralığı ise 43% ile 62% arası. Aynı alıcı sorularını tekrar sorduğunuzda 53% her seferinde biraz farklı çıkar; aralık, 20 seferin 19’unda sonsuza kadar sorabilseydiniz elde edeceğiniz oranı içerecek şekilde çizilen bir aralıktır.
Nokta, ölçtüğümüz oran: 53,0%. Çubuk, %95 aralığı: 43,3% ile 62,5% arası. Şöyle okuyun: Tesla bu sorulara verilen yanıtların yaklaşık 43% ile 62% arasında bir kısmında anılıyor, büyük olasılıkla 53% civarında.
İzleyin: aynı soruları tekrar tekrar sorun
Bu raporlar arasında hiçbir şey değişmiyor: gerçek oran sabit. Yalnızca şans hangi yanıtların döneceğini değiştiriyor. Düğmeye basın ve her raporun nereye düştüğünü izleyin.
Gerçek oran (sonsuza kadar sorsaydınız elde edeceğiniz)
Rapor başına yanıt
Her biri 25 yanıttan oluşan 10 rapor. Hiçbir şey değişmediği hâlde manşet rakam 24.0% ile 52.0% arasında oynadı: gerçek oran %40 seviyesinde sabit kaldı.
Aralıkların 10 tanesinden 10 tanesi (%100) kesikli çizgiyle gösterilen gerçek oranı içeriyor. Sormaya devam ettikçe bu ayarda 93.6% civarına oturur, 20’de 19’a yakın: yanıtlar tam sayılarla geldiği için kesin rakam %95 civarında biraz oynar. Henüz ıska yok; sormaya devam edin, arada bir turuncu olan çıkacaktır.
Kendi rakamlarınızı deneyin
Ürünün her rakamda yaptığı hesabın aynısı: %95 düzeyinde Wilson skor aralığı.
53,0% bahsedilme oranı
%95 aralığı: 43,3% – 62,5%, her iki yönde yaklaşık 9.6 puan.
Yanıt sayısını artırın ve aralığın daraldığını izleyin: dört kat yanıt, kabaca yarı genişlik.
Yapay zekâ yanıtlarının neden bir aralığa ihtiyacı var
Yapay zekâ motorları aynı yanıtı iki kez vermez. Aynı soruyu yarın sorun ya da biraz farklı ifade edin, anılan markalar değişir.
Kendi takibimizde, yapay zekâ yanıtlarındaki günlük değişikliklerin %47'si ertesi gün tersine döndü (40 alıcı sorusu, dört motor, dokuz güne kadar). Bir sorunun bir ifadesinde anılan bir marka, yeniden ifade edilmiş hâlinde yalnızca %55 oranında anıldı (13.994 yanıt).
Yani tek bir yanıt ya da tek bir gün, hareket eden bir hedeften yapılmış tek bir çekiliştir. Aralık, birçok çekilişi dürüst bir ifadeye dönüştürür: oran ve ondan ne kadar emin olabileceğimiz.
Daha fazla yanıt, daha dar aralık
Genişlik çoğunlukla sayının arkasında kaç yanıt olduğuna bağlıdır. Eğri boyunca sürükleyin.
| Yanıtlar | Anıldı (%30'da) | %95 Wilson aralığı | Artı eksi |
|---|---|---|---|
| 10 | 3/10 | %10,8 ile %60,3 arası | yaklaşık 24,8 puan |
| 25 | 8/25 | %17,2 ile %51,6 arası | yaklaşık 17,2 puan |
| 50 | 15/50 | %19,1 ile %43,8 arası | yaklaşık 12,3 puan |
| 100 | 30/100 | %21,9 ile %39,6 arası | yaklaşık 8,8 puan |
| 200 | 60/200 | %24,1 ile %36,7 arası | yaklaşık 6,3 puan |
| 400 | 120/400 | %25,7 ile %34,7 arası | yaklaşık 4,5 puan |
| 1.000 | 300/1.000 | %27,2 ile %32,9 arası | yaklaşık 2,8 puan |
Değişim gerçek mi, yoksa gürültü mü?
Her haftalık raporun gündeme getirdiği soru. Üç kural bunu karşılar.
- Aralıklar birbirine değmiyor: değişiklik gerçek. Harekete geçin.
- Aralıklar birbirine değiyor: bu, hiçbir şeyin değişmediğini kanıtlamaz. Aynı örneklemlerden alınan iki %95 aralığı zamanın %99'undan fazlasında örtüşür, yani örtüşme çok katı bir testtir (örtüşen hata çubukları neden test değildir). Bunun yerine anılandan anılmayana ve tersine dönen soruları karşılaştırın.
- Uyarılarımız bilerek katıdır: yalnızca aralıklar ayrıştığında ve hareket belirlediğiniz eşiği aştığında tetiklenir; yani aldığınız her uyarıya güvenebilirsiniz.
Wilson aralığı nedir
Gösterdiğimiz her aralığın arkasındaki yöntem; istatistikçi Edwin B. Wilson tarafından 1927'de yayımlandı ve istatistik literatürünün az sayıda evet/hayır sonucundan elde edilen bir oran için önerdiği yöntemdir.
Her yapay zekâ yanıtı markanızı ya anar ya anmaz; bu yüzden bahsedilme oranı evet ya da hayır sonuçlarının bir payıdır: istatistikçilerin binom oranı dediği şey. Wilson yöntemi bu payın çevresindeki aralığı iki adımda çizer. Merkezi biraz %50'ye doğru kaydırır, yanıt sayısı az olduğunda daha çok, sonra bu merkezin çevresine genişliği orana ve yanıt sayısına bağlı bir aralık çizer. p sizi anan yanıtların payı, n yanıt sayısı ve %95 için z = 1,96 olmak üzere:
centre = (p + z^2/(2n)) / (1 + z^2/n) half-width = z / (1 + z^2/n) × √( p(1 - p)/n + z^2/(4n^2) ) 95% range = centre - half-width to centre + half-width
Çoğu ders kitabındaki daha basit formül, yani oran artı eksi 1,96 standart hata (Wald aralığı), tam da yapay zekâ görünürlüğünün yaşadığı yerde bozulur: küçük örneklemler ve %0 ile %100'e yakın oranlar. Aynı yanıtlar, iki yöntemle:
| Yanıtlar | Oran | Simple plus-or-minus | Wilson 95% |
|---|---|---|---|
| 53 of 100 | 53,0% | 43,2% to 62,8% | 43,3% to 62,5% |
| 2 of 25 | 8,0% | -2,6% to 18,6%, sıfırın altında | 2,2% to 25,0% |
| 0 of 25 | 0,0% | 0,0% to 0,0%, hiç aralık yok | 0,0% to 13,3% |
| 25 of 25 | 100,0% | 100,0% to 100,0%, hiç aralık yok | 86,7% to 100,0% |
Bu yüzden Brown, Cai ve DasGupta'nın Statistical Science dergisindeki (2001) yaygın yöntemler incelemesi 40 ve daha küçük örneklemler için Wilson'ı önerir; Agresti ve Coull (1998) onun gerçek oranı ders kitabı formülünden daha güvenilir kapsadığını bulmuştur; Newcombe'un Statistics in Medicine dergisindeki (1998) yedi yöntem karşılaştırması da onu tercih etmiştir. Panel, raporlar, dışa aktarmalar ve API aynı Wilson aralığını hesaplar; böylece bir sayı nerede okursanız okuyun aynı anlama gelir. Çözümlü formül Wilson aralığı nedir? sayfasında da yer alır ve hesapladığımız her sayı Metodoloji sayfasında anlatılır.
Kaynaklar
Yöntemin arkasındaki makaleler; hesabı kendiniz kontrol edebilmeniz için.
- Journal of the American Statistical Association1927
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209-212.
Orijinal makale: aralıklarımızın kullandığı oran için skor aralığı.
Şurada aç: doi.org - Statistical Science2001
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101-133.
Yöntemlerin standart incelemesi. Ders kitabındaki artı eksi aralığının sorunlu davrandığını gösterir ve küçük örneklemler için Wilson'ı önerir.
Şurada aç: doi.org - The American Statistician1998
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119-126.
Wilson (skor) aralığının gerçek oranı ders kitabı formülünden daha güvenilir biçimde kapsadığını gösterir.
Şurada aç: doi.org - Statistics in Medicine1998
Newcombe, R. G. (1998). Two-sided confidence intervals for the single proportion: comparison of seven methods. Statistics in Medicine, 17(8), 857-872.
Yedi yöntemi aynı vakalar üzerinde karşılaştırır ve Wilson skor aralığını tercih eder.
Şurada aç: doi.org - NIST e-Handbook of Statistical MethodsNIST
NIST/SEMATECH e-Handbook of Statistical Methods, section 7.2.4.1: Confidence intervals for a proportion.
ABD Ulusal Standartlar ve Teknoloji Enstitüsü'nün el kitabı Wilson yöntemini sunar ve bunun Brown, Cai ve DasGupta ile Agresti ve Coull tarafından önerildiğini belirtir.
Şurada aç: itl.nist.govOkuması ücretsiz - Journal of Insect Science, on PubMed Central2003
Payton, M. E., Greenstone, M. H., & Schenker, N. (2003). Overlapping confidence intervals or standard error intervals: what do they mean in terms of statistical significance? Journal of Insect Science, 3(1), 34.
Örtüşen iki %95 aralığı neden hiçbir şeyin değişmediği anlamına gelmez: örtüşme %5'te değil, yaklaşık %1'de yapılan bir test gibi davranır.
Şurada aç: pmc.ncbi.nlm.nih.govOkuması ücretsiz - Psychometrika1947
McNemar, Q. (1947). Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika, 12(2), 153-157.
İki kez sorulan aynı soruları, sonucu değişen sorulara göre karşılaştırma testi.
Şurada aç: doi.org - Evan MillerEssay
Miller, E. How not to sort by average rating.
Öğeleri evet-hayır oylarının payına göre sıralarken Wilson aralığını savunan, çok okunan sade dilli bir yazı.
Şurada aç: evanmiller.orgOkuması ücretsiz
%95 aralığı hakkında sık sorulan sorular
%95, sayımızın doğru olduğundan %95 emin olduğumuz anlamına mı gelir?
Tam olarak değil. Aralığı çizen yöntemin gerçek oranı 20 seferin 19'unda yakaladığı anlamına gelir. Herhangi bir aralık ya gerçek oranı içerir ya da içermez; %95, yöntemin birçok ölçümde ne sıklıkla doğru çıktığıdır.
Neden yalnızca yüzdeyi göstermiyorsunuz?
Çünkü az sayıda yapay zekâ yanıtından çıkan bir yüzde, şans eseri çok oynayabilir. Aralık olmadan %53'ten %45'e bir düşüş, gürültü olabilecekken haber gibi görünür. Aralık, bir sayının bir anlam ifade etmeden önce ne kadar dalgalanabileceğini söyler.
Aralık %0 ve %100 yakınında neden dengesiz?
Oranlar %0'ın altına veya %100'ün üstüne çıkamaz; bu yüzden Wilson yöntemi aralığı kenardan uzağa büker. 25 yanıttan 2'si yaklaşık %2 ile %25 arası verir; sıfırın altına inecek simetrik bir %8 artı eksi 11 değil.
Aralığı nasıl daraltırım?
Daha fazla yanıt toplayın: daha fazla alıcı sorusu, daha fazla motor ya da daha fazla takip günü. Genişlik yanıt sayısının kareköküyle küçülür; yanıtları dört katına çıkarmak onu kabaca yarıya indirir.
Aralık, yanlış olabilecek her şeyi kapsar mı?
Hayır. Hangi yanıtları tesadüfen aldığımızdaki şansı kapsar. Hangi soruların sorulduğunu, günler arasındaki motor değişikliklerini ya da yanlış değerlendirdiğimiz yanıtları kapsamaz. Bunlar, alıcıların gerçekten sorduğu soruları seçerek, bir takvime göre yeniden sorarak ve yanıtları kontrol edebilmeniz için saklayarak ele alınır.
Çubuklarımdan ikisi çakışıyor. Hiçbir şey değişmedi mi?
Şart değil. Aynı örneklemlerden alınan iki %95 aralığı zamanın %99'undan fazlasında örtüşür; yani örtüşme, gerçek hareketleri kaçıran çok katı bir testtir. Çubuklar birbirine değmiyorsa değişiklik gerçektir. Değiyorsa, bunun yerine yanıtı değişen soruları karşılaştırın.
Sıradaki okuma
Kısa liste şu anda yazılıyor.
Hangi alıcı sorularının markanızı andığını, yerinize kimin anıldığını ve neyi düzeltmeniz gerektiğini görün. 200 yanıt. 25 Prompts/soru. En iyi yapay zekâ motorları. 2 gün. Ücretsiz. Kart gerekmez.
200 yanıt. 25 Prompts/soru. En iyi yapay zekâ motorları. 2 gün. Ücretsiz.
Google AI OverviewsGoogle AI Mode
Google AI OverviewsGoogle AI Mode