Her rehber yeni bir sohbet başlatın diyor, sonra beş turlu bir alıcı tarif ediyor
Bir yanıt motorunun markanızı anıp anmadığını kontrol etmenin standart yolu, bir alıcı soruları kümesi yazmak, her birini önceki bağlamı olmayan yepyeni bir sohbette çalıştırmak ve kimin anıldığını kaydetmektir. Biz de bunu yapıyoruz, sağlam bir nedenle: zaten kendi markanıza doğru yönlendirdiğiniz bir sohbet size soğuk bir alıcının ne gördüğünü değil, ısınmış bir modelin ne söylediğini anlatır.
Sonra aynı rehberlerin alıcının ne yaptığına dair söylediklerini okuyun. Bir satıcı seçen kişi neye bakması gerektiğini sorar, bir kısıttan bahseder, bir karşılaştırma ister, nereden alacağını sorar. Google bunu ürünün amacı olarak görür: AI Mode yardım sayfası her şeyi sorup bir yanıt alabileceğinizi ve takip sorularıyla daha derine inebileceğinizi söyler. Bu motorların etrafında kurulduğu etkileşim birkaç tura yayılır. Her yapay zekâ görünürlüğü raporundaki her rakam birinci turdaki rakamdır.
200.000 konuşmalık bir deney, düşüşün ikinci turda geldiğini buldu
Bunun tek bir büyük kontrollü ölçümü var. Microsoft Research'ten Philippe Laban ve Jennifer Neville, Salesforce Research'ten Hiroaki Hayashi ve Yingbo Zhou ile birlikte, 9 Mayıs 2025'te yayımladı. Altı üretim görevinde tamamen belirtilmiş 600 talimat aldılar, her birini parçalara böldüler ve simüle edilmiş bir kullanıcının her turda en fazla bir parça açıklamasını sağladılar. On beş model, 200.000'den fazla simüle edilmiş konuşma.
Talimatın tamamı tek mesajda verildiğinde yaklaşık %90 puan alan modeller, aynı bilgi turlara yayılarak geldiğinde yaklaşık %65 aldı. Modeller ve görevler üzerinden ortalama düşüş %39'du ve her model her görevde geriledi.
Bir talimatı bölmek, yeniden yazımda bilgi kaybettirebilir. Bunu kontrol ettiler: aynı parçaları tek bir madde listesinde yeniden birleştirmek, orijinalin %95,1'ini aldı. Yeniden yazmanın maliyeti yok, maliyetin tamamı turlarda. Bölmenin ne kadar ince olduğunu iki parçadan sekize kadar değiştirdiklerinde hasar ikide ortaya çıktı ve sonra sabit kaldı.
Modeller daha az yetenekli olmadı. Daha az tekrarlanabilir oldular.
Birine bir yüzde raporluyorsanız önemli olan kısım bu. Makale performansı ikiye ayırıyor: yetkinlik, tekrarlanan çalıştırmalardaki 90. yüzdelik puan; ve güvenilmezlik, 90. ile 10. yüzdelik arasındaki fark. Çok turlu yetkinlik yaklaşık %16 düştü. Güvenilmezlik %112 arttı. En iyi çok turlu çalıştırma neredeyse en iyi tek turlu çalıştırma kadar iyi, en kötüsü ise çok daha kötü; sabit bir talimattaki dağılım ortalama 50 puan civarında.
Olağan çarelerin hiçbiri işe yaramadı. o3 ve DeepSeek R1 de diğerleri gibi kayboldu ve yazarlar uzunluğu suçluyor: akıl yürütme modelleri yaklaşık %33 daha uzun yanıtlar yazdı ve kendi varsayımlarından daha fazlasını ileriye taşıdı. Sıcaklığı düşürmek tek turlu ortamlarda güvenilmezliği %50 ile %80 arasında azalttı, çok turlu ortamlarda ise işe yarar hiçbir şey yapmadı; orada sıfıra sabitlense bile %30 civarında kaldı.
Bunu bir görünürlük raporunun yanında okuyun. Birinci turda bir kez okunan bir kısa liste zaten gürültülü bir sürecin tek bir örneğidir; her yüzdenin yanına bir aralık yayımlamamızın nedeni bu. Üçüncü turda bir kez okunan bir kısa liste, dağılımı iki kat olan bir sürecin tek bir örneğidir.
Birinci turdaki kısa listeniz ikinci turun girdisi olur
OpenAI mekanizmayı belgeliyor. Her istek bağımsız ve durumsuzdur ve çok turlu bir konuşma, önceki mesajları yenisiyle birlikte geri göndererek çalışır. Yanıtları kimlikle zincirlediğinizde bile, OpenAI'ın belirttiğine göre, önceki her girdi token'ı yeniden girdi token'ı olarak faturalandırılır. Geçmiş hatırlanmaz, yeniden gönderilir ve buna asistanın kendi önceki yanıtı da dahildir.
Yani bir alıcı bir takip sorusu sorduğunda model, birinci turdaki kendi kısa listesini girdinin bir parçası olarak okur; Laban ve arkadaşları da önceki yanıt denemelerine aşırı güvenmeyi bu etkinin dört nedeninden biri olarak sayıyor. Bu da henüz kanıtlayamadığımız bir şeye işaret ediyor: birinci turda bir yer için yarışırsınız, ikinci turda modelin zaten yazdığı bir listeyle tartışırsınız. Bunu marka kısa listelerinde kimse ölçmedi. Bahse gireceğimiz okuma bu.
Neyi ölçüyoruz ve hiçbirimizde olmayan rakam
Proofsource yapısı gereği tek turlu örnekler. Her prompt'u tekrar tekrar sorarız, görünürlüğü bir nokta yerine bir Wilson aralığıyla puanlarız ve aynı soruyu iki gün üst üste soran bir test-tekrar test raporu çalıştırırız. Bunların hiçbiri bir takip sorusunu takip sorusu olarak örneklemez. Bildiğimiz hiçbir araç, bizimki dahil, bunu yapmıyor; sahip olmadığımız bir kapsamı ima etmektense bunu yazmayı tercih ederiz.
Gösterebileceğimiz şey komşu etki: soruyu değiştirin, anılan küme değişir. Bir iş yazılımı kategorisindeki tek bir marka hakkındaki tam bir raporda, kategori sorusu on dört satıcı döndürdü ve marka aralarında yoktu. Adıyla sorulduğunda aynı motor onu kategorisindeki önde gelen platformlardan biri olarak niteledi ve dört ila beş yıldız verdi. O tek ticari sorunun on altı ifadesinde altı rakip on bir veya daha fazlasında çıktı, marka ise en fazla ikisinde. Bu bizim verimiz, tek marka ve tek motor, ve bir tur sonucu değil, bir ifade sonucu.
- Takip sorusunu ayrı bir prompt olarak yazın. "En iyi proje yönetimi aracı" ile "bütçesi olmayan on iki kişilik bir ekip için en iyi proje yönetimi aracı" bir değil, iki prompt'tur.
- Kısıtı ilk mesaja koyun. Makalenin kullanıcılara tavsiyesi bu ve gelecek ay karşılaştırabileceğiniz bir okuma elde etmenin tek yolu.
- Üç turlu bir konuşmanın ekran görüntüsünü, hangi yönde olursa olsun, kanıt olarak görmeyi bırakın. O, şimdiye kadar ölçülmüş en az tekrarlanabilir ortamın tek bir çalıştırmasıdır.
Nerede yanılıyor olabiliriz
En büyük açık aktarımda. Altı görev Python fonksiyonları, SQL sorguları, API çağrıları, ilkokul aritmetiği, tablo başlıkları ve sorgu odaklı özetler. Hiçbiri bir satıcı önermek değil. Makale, modellerin turlara yayılarak gelen gereksinimleri takip edemediğini ve bu durumda çok daha az tekrarlanabilir olduğunu ortaya koyuyor. Marka kısa listelerinin de aynı şekilde davrandığını ortaya koymuyor. Öyle olduğunu düşünüyoruz ve bunu ölçmedik.
Kullanıcıları insanlar değil, küçük bir model tarafından simüle ediliyor; görevler İngilizce, yalnızca metin ve analitik. Yazarlar bunların hepsini listeliyor ve koşullarının gerçek düşüşün muhtemelen daha büyük olacağı kadar elverişli olduğunu savunuyor; bu yönü destekliyor ama büyüklük hakkında güvenilir bir şey söylemiyor. Bunlar ayrıca 2025 modelleri ve takip ettiğimiz dört motorun hiçbiri kendi çok turlu güvenilirlik rakamını yayımlamıyor.
On altı ifadelik rakamlarımız tek marka, tek kategori, tek motor, tek rapor. Listeye sorunun karar verdiğini gösteriyorlar ve bir tur ölçümü değiller. Gerçek bir satın alma konuşmasının ne sıklıkla bir turu aştığına dair bir rakamımız da yok: Google'ın takip sorularını AI Mode'un amacı olarak nitelemesi bir tasarım ifadesidir, bir sıklık değil.
Savunacağımız şey dar ve bizim için biraz rahatsız edici. Bu kategorideki her ürünün raporladığı birinci turdur, herkesin konuştuğu konuşmadır ve şu anda hiçbirimiz aradaki farkı ölçmüyoruz.
