Sizi anan tek bir kontrol, %20,7'lik gerçek bir oranla tutarlıdır
Bir markanın yapay zekâ aramasında nerede durduğunu öğrenmesinin en yaygın yolu, birinin soruyu bir kez sorması, yanıtı okuması ve ya rahatlaması ya paniğe kapılmasıdır. O tek yanıt da bir sonraki toplantıda herkesin tekrarladığı sayı olur.
Onu olduğu gibi ele alın. Bir kez sorulan, evet veya hayır sonucu olan tek bir soru, eğilimini bilmediğiniz bir yazı turadan alınmış bir kişilik bir örneklemdir. Wilson skor aralığı, bu tür bir orana sınır koymanın standart yoludur. Bir denemede bir başarı için %95 güvenle çalıştırın, yanıt %20,7 ile %100 arasıdır.
Sade bir dille: sizi tek bir kontrolde anan bir model, sizi beş yanıttan birinde anacak bir modelle tamamen tutarlıdır. Ekran görüntüsü bunları ayırt edemez. Siz de edemezsiniz.
Iskalama daha kötü. Birde sıfır, %0 ile %79,3 arasında bir aralık verir ve ekipler bir içerik planını rutin olarak tam da buna dayanarak yeniden yazar.
Aynı prompt, başka kimin sorduğuna bağlı olarak farklı bir yanıt döndürür
Motorlar deterministik olsaydı bunun önemi olmazdı. Değiller ve nedeni rastgelelik hakkındaki olağan geçiştirmeden daha belirgin. OpenAI bunu kendi API rehberinde açıkça söylüyor: Chat Completions varsayılan olarak deterministik değildir, yani model çıktıları istekten isteğe farklılık gösterebilir. Bir seed, aynı sayfanın çoğunlukla deterministik çıktı dediği şeyi sağlar ve OpenAI, bir arka uç değişikliğinin zemini ne zaman kaydırdığını anlayabilmeniz için bir sistem parmak izi sunar.
Thinking Machines Lab bunu ölçtü. Laboratuvar Eylül 2025'te, teoride mükemmel şekilde tekrarlanabilir olması gereken açgözlü örnekleme olan sıfır sıcaklıkta, "Tell me about Richard Feynman" prompt'unu kullanarak Qwen3-235B-A22B-Instruct-2507'den 1.000 tamamlama örnekledi. 80 benzersiz tamamlama elde ettiler; en yaygın olanı 78 kez göründü. 1.000 çalıştırmanın tamamı ilk 102 token'da uyuştu ve 103. token'da ayrıldı: 992'si "Queens, New York", 8'i "New York City" ile devam etti.
Belirledikleri neden GPU rastgeleliği değil. Çekirdekler çalıştırmadan çalıştırmaya deterministik, ama toplu işe göre değişmez değiller; bu yüzden bir istek, düştüğü toplu işe göre biraz farklı bir aritmetik alır ve toplu iş boyutunu sunucu yükü belirler. Vardıkları sonucu iki kez okumaya değer: neredeyse tüm LLM çıkarım uç noktalarının deterministik olmamasının birincil nedeni, yükün ve dolayısıyla toplu iş boyutunun deterministik olmayan şekilde değişmesidir.
Yani ekran görüntüsünü aldığınız yanıt, kısmen aynı saniyede aynı uç noktayı kaç yabancının sorguladığına bağlı. Bu, markanız hakkında bir sinyal değil.
Yirmi örneklem bile kırk puanlık bir aralık bırakır
Bir görünürlük rakamının bir örneklemden tahmin edilmiş bir oran olduğunu kabul ettiğinizde, sıradaki soru örneklemin ne kadar büyük olması gerektiğidir. Wilson aralığı bunu yanıtlar ve yanıt insanı alçakgönüllü yapar. Bunların hepsi modelin sizi zamanın %60'ında andığını varsayar:
- 5 örneklem, 3 bahsetme: %23,1 ile %88,2 arası. 65 puanlık bir aralık. Markanın var olduğunu biliyorsunuz.
- 20 örneklem, 12 bahsetme: %38,7 ile %78,1 arası. 39 puanlık bir aralık, yani ölçeğin çoğu.
- 40 örneklem, 24 bahsetme: %44,6 ile %73,7 arası. Artık görünmez olma ihtimalini dışlayabilirsiniz.
- 100 örneklem, 60 bahsetme: %50,2 ile %69,1 arası. Hâlâ 19 puan genişliğinde.
- 366 örneklem: aralığın artı eksi 5 puana daraldığı ilk nokta. Artı eksi 3'e ulaşmak 1.021 örneklem gerektirir.
Bir yapay zekâ görünürlüğü panosunda raporlanan hareketin çoğu gerçekleşmemiştir
Aritmetiğin para kaybettirmeye başladığı yer burası. Bir prompt'u ilk hafta 40 kez örnekleyin ve 24 bahsetme görün, ikinci hafta 40 kez örnekleyin ve 32 görün. Bu %60'tan %80'e bir sıçrama gibi okunur ve cumaya kadar bir slayta girer.
İki aralık %44,6 ile %73,7 ve %65,2 ile %89,5. Çakışıyorlar. 40 örneklemde 20 puanlık bir dalgalanma henüz bir sonuç değildir ve odaya söylenecek doğru şey, hiçbir şeyin kanıtlanmadığıdır. Bunu birkaç kez yapın, insanlar gürültünün peşinden koşmayı bırakır.
Proofsource'ta uyarıları nokta tahmine değil aralığa bağlamamızın ve raporlarımızdaki her görünürlük yüzdesinin yanında bir Wilson aralığı taşımasının nedeni budur. Bir sayı bir çizgiyi geçtiğinde tetiklenen bir uyarı, bu kadar gürültülü bir sistemde sürekli tetiklenir. Aralıklar ayrıldığında tetiklenen bir uyarı ise bir şey olduğunda tetiklenir.
Aynı mantık sıfır için de geçerli. 20 örneklemde hiç bahsetme olmaması %16,1'lik bir üst sınır, 40 örneklemde hiç olmaması %8,8'lik bir üst sınır bırakır. Bir motorun sizi asla anmadığını iddia etmek istiyorsanız, bu iddianın bir anlam taşımaya başladığı yer kabaca 40 örneklemdir.
Size öğretileni değil, Wilson aralığını kullanın
Teknik bir not, çünkü akla gelen alternatif tam da burada önemli olan durumlarda başarısız olur. Çoğu insanın öğrendiği aralık, düz normal yaklaşımdan kurulan Wald aralığıdır. Bir denemede bir başarıda %100 ile %100 arası, birde sıfırda %0 ile %0 arası raporlar. Size tek bir kontrolün kesin olduğunu söyler; düzeltmeye çalıştığımız hata da tam olarak budur.
Bu iyi belgelenmiştir. Brown, Cai ve DasGupta'nın Statistical Science'taki incelemesi, Wald aralığının düzensiz kapsamının sanılandan çok daha kalıcı olduğunu, ne zaman güvenli olduğuna dair yaygın ders kitabı reçetelerinin yanıltıcı ve kusurlu olduğunu ve bunlara güvenilemeyeceğini buldu; küçük örneklemler için Wilson'ı öneriyorlar. Yanıt motoru örneklemesi küçük örneklemlerden oluşur, çünkü takip ettiğiniz her prompt'un kendi sayımı vardır.
Pazartesi ne yapmalı
Bunların hiçbiri bir şey satın almayı gerektirmiyor. Not ettiğiniz şeyi değiştirmeyi gerektiriyor.
- Tek bir kontrolü raporlamayı bırakın. Kanıt bir ekran görüntüsüyse, bulgu markanın görünebileceğidir, daha fazlası değil.
- Verilere bakmadan önce bir örneklem büyüklüğü seçin ve her dönem aynı tutun. Okumalar arasında n'yi değiştirmek, ikisi de dürüst olsa bile iki sayıyı karşılaştırılamaz yapar.
- Noktayı değil, aralığı raporlayın. %45 ile %74 aralığıyla %60 yazan bir satırı aşırı yorumlamak, yalnızca %60 yazan bir satırdan daha zordur.
- Uyarı eşiğini aralıkların ayrışmasına göre belirleyin ve örneklemleri günlere yayın. Çakışan iki aralık, orta noktaları ne kadar farklı görünürse görünsün bir değişim değildir.
Bunun nerede yanlış olabileceği
Yukarıdaki Wilson rakamları belirtilen girdiler üzerinde kesin aritmetiktir; sayılar şüpheli değil. Arkalarındaki modelleme varsayımı şüpheli. Wilson aralıkları sabit bir başarı olasılığına sahip bağımsız denemeler varsayar; canlı bir motora yapılan tekrarlı sorgular ise temiz biçimde bağımsız değildir: kişiselleştirme, önbellekleme, oturum bağlamı ve hafta ortasında yayımlanan bir model sürümü bunu ihlal eder. Bu aralıkları belirsizliğinizin tam bir hesabı olarak değil, alt sınırı olarak görün.
Thinking Machines deneyi ChatGPT, Gemini veya Perplexity'yi değil, laboratuvarın kendi altyapısında kendi barındırdığı açık ağırlıklı bir modeli çalıştırdı. Mekanizmayı kanıtlıyor, herhangi bir ticari ürünün varyansını değil; bu sağlayıcıların hiçbiri kendi varyansını yayımlamıyor.
Örneklem büyüklüğü tablosundaki %60 rakamı açıklama amaçlıdır. Aralıklar ortaya yakın en geniş olduğu için onu seçtik; bu da onu temkinli durum yapıyor. %5 veya %95'te duran bir marka, aynı mutlak hassasiyet için daha az örnekleme ihtiyaç duyar.
Savunacağımız şey hatanın yönü. Küçük örneklemler, tek kontroller ve aralıksız nokta tahminler hepsi aynı yöne iter: aslında ölçmediğiniz bir şeyi ölçtüğünüze inanmaya.
