Kimse ekranınızda zaten duran iki rakamla ne yapacağınızı söylemiyor
Yapay zekâ görünürlüğü rakamınız değişti. Geçen haftaki çalıştırma prompt'larınızın %42'sinin sizi andığını söylüyordu, bu haftaki %30 diyor. On iki puan. Neyin bozulduğunu aramaya başlamadan önce önünüzde daha küçük bir soru var: gerçekten bir şey oldu mu?
Yayımlanmış tavsiyeler zayıf ve hepsi bir sonraki ölçümünüzle ilgili. Daha fazla örnek çalıştırın. Günlük yerine haftalık takip edin. Prompt kümesini sabit tutun. Makul, ama elinizdeki iki okuma için hiçbir yardımı yok. Bu yüzden çoğu kişi panonun kolaylaştırdığı şeye geri döner ve hata çubuklarının örtüşüp örtüşmediğini kontrol eder. Bu yanlış testtir ve neredeyse kimsenin beklemediği yönde yanlıştır.
Hiçbir şey değişmediğinde iki %95 aralığı zamanın %99'undan fazlasında örtüşür
Mark Payton, Matthew Greenstone ve Nathaniel Schenker bunu 2003'te Journal of Insect Science'ta hesapladı. Gerçekten aynı olan kitlelerden iki örneklem alın ve her birine %95 güven aralığı koyun. Bu aralıklar ne sıklıkla örtüşür? Büyük örneklem hesapları bunu %99'un üzerine koyuyor ve n=10 ile 10.000 çiftlik simülasyonları 0,995 çıktı.
Yani %95 aralıklarının örtüşüp örtüşmediğini kontrol etmek %5'lik bir test değildir. %1'lik bir teste daha yakındır. Gerçek olduğunda bile bir farka neredeyse hiçbir zaman gerçek demezsiniz.
Aynı makale tersi durumu da inceliyor. Düz standart hata çubukları, hiçbir şey olmadığında zamanın %84,3'ünde örtüşür; yani bunlara göz kararı bakmak, yanlış alarm oranı %15'e yakın bir testtir. Altı seferden birinde orada olmayan bir nedeni aramaya gidersiniz.
Düzeltmeyi de veriyorlar. Bir örtüşme kontrolünün %5'lik bir test gibi davranması için, standart hatalar kabaca eşitken, aralıkların yaklaşık %83 veya %84 genişliğinde olması gerekir. n=10'da %84 aralıkları zamanın %94,9'unda örtüştü; aradığınız %5 de buydu.
Tek düşüş, üç karar ve sektör en sessiz olanı kullanıyor
O %42'den %30'a harekete gerçek hesap koyalım. Diyelim ki tek bir motora karşı 200 prompt; ilk çalıştırmada 84'ü, ikincisinde 60'ı sizi anıyor.
- %95 Wilson aralıkları: %42, %35,4 ile %48,9 arasında; %30, %24,1 ile %36,7 arasında. Yaklaşık bir puan örtüşüyorlar. Karar: görülecek bir şey yok.
- Aynı iki rakam üzerinde standart bir iki oran testi: z = 2,50, p = 0,012. Karar: gerçek.
- Yukarıdaki düzeltmeye göre %84 Wilson aralıkları: %37,2 ile %47,0 arasına karşı %25,7 ile %34,7 arası. Net şekilde ayrık. Karar: gerçek ve artık testle uyuşuyor; düzeltmenin amacı da bu.
Aynı prompt'ların iki kez çalıştırılması eşleştirilmiş bir ölçümdür ve güç eşleştirmededir
Üçünün de altında daha büyük bir hata var. İki oran testi, çalıştırmaları bağımsız örneklemler olarak ele alır. Değiller. Aynı 200 prompt'u aynı motora karşı yeniden çalıştırırsanız her prompt iki kez ölçülmüş olur, yani karşılaştırma prompt prompt yapılmalıdır.
Çoğu prompt değişmemiş olacaktır ve sizi iki seferde de anan veya hiç anmayan prompt'lar bir değişiklik hakkında size hiçbir şey söylemez. Bilginin tamamı yön değiştiren prompt'lardadır.
Diyelim ki 30 prompt sizi düşürdü ve 6'sı sizi aldı. Aynı net 24 prompt, aynı 12 puan. Eşleştirilmiş ikili veriler için standart test olan McNemar testi, bu 36 değişim üzerinde 1 serbestlik derecesiyle 16,0'lık bir ki-kare verir, yani p yaklaşık 0,00006'dır. Aynı veriler üzerindeki bağımsız test 0,012 demişti. Eşleştirme, prompt'ların birbirinden farklı olmasından gelen varyansı attı ve gerçekten sorduğunuz varyansı bıraktı.
Çalıştırmalar arasında prompt kümenizi değiştirirseniz bundan vazgeçersiniz ve hiçbir istatistik onu geri vermez. Kümeyi sabit tutun ve yeni prompt'ları kendi serileri olarak başlatın.
Uyarılarımız da tutucu eşiği kullanıyor ve bunun size maliyeti şu
Uyarı kurallarımız iki şeye ihtiyaç duyar. Eski ve yeni puanın Wilson aralıkları örtüşmemeli ve hareket, seçtiğiniz yönde belirlediğiniz bir eşiği aşmalı. Aralık kontrolü önce çalışır, yani çubuklar birbirine değiyorsa eşik ne derse desin hiçbir şey tetiklenmez.
Bu tutucu eşiktir ve onu bilerek seçtik. Kimsenin güvenmediği bir uyarı, hiç uyarı olmamasından kötüdür. Ama yukarıdaki rakamlara göre kabaca %1'lik bir testtir, bu yüzden uygulamalı örnekteki 12 puanlık düşüş sessizce geçer. Gerçek bir maliyet ve sizin keşfetmenize bırakmaktansa yazmayı tercih ederiz.
Hesabın altında daha önemli bir taban var. Kimsenin dokunmadığı bir siteye karşı aynı prompt kümesini yeniden çalıştırın, rakam yine oynar, çünkü motorlar kendilerini tekrarlamaz. OpenAI'ın kendi belgeleri bunu açıkça söylüyor: sohbet tamamlamaları varsayılan olarak deterministik değildir ve bir seed ayarlansa bile sistemleri "deterministik örnekleme için elinden geleni yapar" ve "determinizm garanti edilmez". Kendi örneklememizde, anılan kümenin %9 ile %27'sinin bir günden diğerine değiştiğini gördük; nereye düştüğü motora bağlı. Bu, kimse bir şey yayımlamadan.
Proofsource'un bir test-tekrar test raporu çalıştırmasının nedeni bu: aynı sabit prompt'lar, aynı motor, günde iki kez, değişmemiş bir sitede. Üzerine bir eşik koymadan önce size kendi gürültünüzün büyüklüğünü verir. Bunu atlarsanız eşiğiniz bir tahmindir.
Nerede yanılıyor olabiliriz
Payton ve arkadaşları sonuçlarını normal kitlelerden ortalamalar için, eşit standart hatalar ve büyük bir örneklem varsayarak türettiler. Görünürlük bir orandır ve bir Wilson aralığı 0 ve %100'e yakın yerlerde asimetrikleşir. Yön temiz şekilde aktarılır, %95 örtüşmesi %5'lik bir test için fazlasıyla tutucudur; ama %83 ile %84'ü bizim durumumuz için bir kanıt değil, pratik bir kural olarak görün. Uç değerlere yakın yerlerde testin kendisini çalıştırın.
Uygulamalı örnek bir ölçüm değil, bir hesaptır. 200 prompt, 84 ve 60, 6'ya karşı 30 değişim, kendi içinde tutarlı olsun ve farkı göstersin diye seçtiğimiz rakamlar. Sizinkiler farklı olacaktır ve bakılacak şey dağılımdır.
İstatistiksel anlamlılık ile "buna siz yol açtınız" ayrı iddialardır ve burada yalnızca ilki kapsamdadır. Örnekleme gürültüsüne karşı 0,00006'lık bir p, motorun davranışının iki çalıştırma arasında değiştiğini söyler. Neden değiştiği hakkında hiçbir şey söylemez. Ölçtüğümüz düzeydeki değişkenlikle, anlamlı bir hareket yine de motorun kendi kendine kayması olabilir.
%9 ile %27 rakamı bizim. Örneklediğimiz motorlarda gördüğümüz şeydir, yayımlanmış bir sabit değildir ve kendinizinkini ölçmenin yerini tutmaz.
