Paragrafın tam metni verildiğinde sekiz araç vakaların %60'ında yanlış kaynağı gösterdi
Kolay olması gereken bir test şu. Yayımlanmış bir makaleden bir paragraf alın, bir yapay zekâ arama aracına yapıştırın ve hangi makaleden geldiğini, kimin yayımladığını ve URL'nin ne olduğunu sorun. Metin prompt'un içinde duruyor. Tahmin edilecek bir şey yok.
Tow Center for Digital Journalism, Şubat 2025'te tam olarak bunu sekiz araçta çalıştırdı: ChatGPT Search, Perplexity, Perplexity Pro, DeepSeek Search, Copilot, Grok 2, beta aşamasındaki Grok 3 ve Gemini. Yirmi yayıncı, her birinden on makale, toplam 1.600 sorgu. Alıntılar, sıradan Google aramasına yapıştırıldığında orijinal kaynak ilk üç sonuç içinde çıkacak şekilde seçilmişti.
Araçlar toplu olarak sorguların %60'ından fazlasını yanlış yanıtladı. Perplexity grubun en iyisiydi ve yine de %37'sini yanlış yaptı. Grok 3 %94'ünü yanlış yaptı. DeepSeek alıntıyı 200 seferin 115'inde yanlış kaynağa atfetti.
Üzerinde durmaya değer kısım özgüven. ChatGPT 134 makaleyi yanlış tanımladı ve iki yüz yanıt boyunca yalnızca on beş kez herhangi bir belirsizlik işareti verdi. Yanıt vermeyi bir kez bile reddetmedi.
Perplexity'nin belgeleri işaretlerin prompt'a bağlı olduğunu, sonuç listesinin ise doğru kaynak olduğunu söylüyor
Bu bir model kalitesi sorunu gibi okunuyor. Daha çok bir mimari sorunu ve mimariyi sağlayıcıların kendi geliştirici belgelerinde okuyabilirsiniz.
Perplexity'nin Agent API'si üzerinden yapılan bir web araması iki ayrı nesne olarak döner. Biri, çalışan sorguları ve aracın çektiği her sonucu taşıyan bir search_results öğesidir; her sonucun bir id'si, url'si, başlığı ve kısa metni vardır. Diğeri asistan mesajı, yani yanıt metnidir. Herkesin alıntı olarak gördüğü köşeli parantez işaretleri bu yanıt metninin içinde yaşar ve Perplexity'nin araçla ilgili başvuru sayfası, modelin bunları ekleyip eklemeyeceğinin prompt'a bağlı olduğunu, bu yüzden açıkça istemeniz gerektiğini söyler. Ardından geliştiricilere bunun yerine neye güvenmeleri gerektiğini anlatır: işaretlerden bağımsız olarak, her search_results girişinin id ve url alanlarını alıntılar için doğruluk kaynağı olarak kabul edin.
Bunu bir markanın gözüyle okuyun. Sağlayıcı kendi geliştiricilerine görünen alıntının yetkili olmadığını, getirilen kümenin ise yetkili olduğunu söylüyor. Yapay zekâ görünürlüğünü dışarıdan ölçen herkes ise yalnızca görünen alıntıyı görür.
Aynı belgeler bir modelden yapılandırılmış çıktı içinde URL üretmesini istemeye karşı da uyarıyor, çünkü bağlantı yazan bir model hatalı veya uydurma bağlantılar üretebilir; geliştiricileri yeniden arama sonuçlarına yönlendiriyor. Tow Center bu hatanın tüketici tarafındaki sürümünü ölçtü. Gemini ve Grok 3'ün yanıtlarının yarısından fazlası uydurma veya bozuk URL'ler taşıyordu ve Grok 3'ün 200 alıntısından 154'ü hata sayfalarına çıkıyordu.
Sistemin çıkardığı bir alıntı karakter konumları taşır
Bunu, modelin yazdığı değil sistemin hesapladığı bir alıntıyla yan yana koyun. Claude API'sindeki Anthropic Citations özelliği, yanıttaki her iddia için alıntılanan metnin tam hâlini (cited_text), geldiği belgenin dizinini ve o belge içindeki başlangıç ve bitiş karakter konumunu içeren bir blok döndürür. Belgeler bu şeklin neden önemli olduğu konusunda açık: API alıntıları ayrıştırdığı ve cited_text'i doğrudan çıkardığı için alıntıların sağlanan belgelere geçerli işaretçiler içermesi garanti edilir.
Google'ın Gemini için dayanak API'si de aynı mantıkla kurulmuş. Dayanaklı bir yanıt, modelin gerçekten yürüttüğü aramalarla ve her biri yanıt metninde bir start_index ve end_index taşıyan url_citation açıklamalarıyla döner; böylece tam aralığı vurgulayıp arkasındaki URL'yi belirtebilirsiniz.
Yani altyapı mevcut. Sistemin hesapladığı bir işaretçi olan alıntı kontrol edilebilir. Modelin yazdığı bir metin olan alıntı ise bir iddiadır ve yanıttaki diğer her iddia kadar şüpheyi hak eder. Alıcıların gerçekten kullandığı yüzeyler çoğunlukla ikinci türü gösteriyor.
Başkasının alan adındaki paragrafınız övgüyü toplar
Tow Center, markaları herkesten daha sert vuran bir hata buldu. Araçlar orijinal yerine tekrar tekrar ortak yayımlanmış veya yeniden yayımlanmış kopyaları alıntıladı. Perplexity Pro, on sorgunun üçünde Texas Tribune makalelerinin yeniden yayımlanmış sürümlerini alıntıladı; üstelik Perplexity'nin Texas Tribune ile bir ortaklığı var. ChatGPT bir USA Today makalesinin Yahoo News'teki yeniden yayınını alıntıladı.
Bunun bir markadaki sürümü daha sıkıcı ve çok daha yaygın. Karşılaştırma sayfanız iki plan kademesi arasındaki gerçek farkı açıklıyor. Bir derleme blogu bunu kendi kelimeleriyle aktarıyor. Biri kategori sorusunu sorduğunda bağlantıyı derleme alıyor, sizin ifadeniz yanıtta yer alıyor ve alan adınız sayfanın hiçbir yerinde görünmüyor.
Kendi örneklememizde, test ettiğimiz tek kategoride kategorinin en iyisi sorusunda ChatGPT'nin alıntıladığı kaynakların yaklaşık %44'ünü listeler ve derlemeler oluşturdu. Bu bizim verimiz ve örneklediğimiz kapsamla sınırlı. Yine de sorunun şekline uyuyor: alıntı yerleri küçük ve çekişmeli bir yüzeydir ve üçüncü taraf sayfalar bunları işgal etmekte çok iyidir.
Tek bulgu yerine üç bulgu sayın
Bağlantı listesi motorun ne kullandığının güvenilmez bir göstergesiyse, tek bir alıntı sayısı yanlış araçtır. Üç soru birbirinden temizce ayrılır ve her biri farklı bir yere götürür.
- Yanıt sizi hiç andı mı? Metindeki varlık başlı başına bir ölçümdür ve bir bağlantının görünüp görünmemesinden bağımsız olarak değişir.
- Yanıt size mi atıf yaptı, yoksa sizin içeriğinizi taşıyan bir sayfaya mı? İkincisiyse bir yerleşim sorununuz vardır ve kendi sayfanızı yeniden yazmak buna dokunmaz.
- Motor size hiç ulaşabildi mi? Eksik bir alıntının çoğu zaman sıkıcı bir açıklaması vardır ve bir bot erişilebilirliği kontrolü, kimse bir şeyi yeniden yazmadan önce bunu netleştirir.
Biz bu konuda ne yapıyoruz
Proofsource'un tek bir sayı raporlamak yerine alıntı açığı ve hayalet alıntı tespiti çalıştırmasının ve her veri noktasını kaynağına göre, yani bir yanıtta gözlemlenmiş veya üretilmiş olarak etiketlemesinin nedeni budur. Sizi bağlantı vermeden aktaran bir yanıt ile sizi hiç görmemiş bir yanıt, bağlantı sayan bir panoda aynı görünür.
Örneklemenin yalnızca kaynak listesini değil, yanıt metnini de kaydetmesinin nedeni de budur. İfadeniz metinde görünürken kaynaklarda başkasının alan adı görünüyorsa bu bir bulgudur ve getirilmemekten farklı bir iştir.
Bunun nerede yanlış olabileceği
Tow Center testleri Şubat 2025'te yapıldı ve Mart'ta yayımlandı. Bu on sekiz ay önce ve kümedeki her ürün o zamandan beri birçok sürüm yayımladı. %60'ı bugünkü hata oranı olarak değil, bu hata sınıfının gerçek ve ölçülebilir olduğunun kanıtı olarak alın. Testi yeniden çalıştırmadık.
Araştırmanın kendi sınırlılıklar bölümü her sorgunun bir kez çalıştırıldığını ve aynı prompt'ları yeniden çalıştıran herkesin büyük olasılıkla farklı çıktılar alacağını söylüyor. Atıf doğruluğu da başlı başına gürültülü bir ölçümdür.
Bir alıntıyı yapıştırıp kimin yazdığını sormak bir köken testidir, bir alıcının alışveriş biçimi değil. Atfı doğrudan zorlar, amacı da budur; ama normal bir kategori sorusunda atfın ne sıklıkla yanlış gittiğini söylemez.
Yukarıdaki API davranışı geliştirici yüzeyidir. ChatGPT, AI Overviews ve Perplexity'nin kendi web sitesinin aynı kod yolunu çalıştırdığı garanti değildir; tüketici ürünlerinin içinden değil, belgelenmiş geliştirici davranışından akıl yürütüyoruz.
Ve kendi tavsiyemizin dürüst sınırı: dışarıdan, getirilip atıf yapılmayan bir sayfayı hiç getirilmemiş bir sayfadan her zaman ayıramazsınız. Bot erişimini kontrol etmek aralığı daraltır. Yanıt metninde kendi ifadenizi aramak daha da daraltır. İkisi de tamamen kapatmaz.
