Bahsetme olarak sayılan 167 yanıt marka hakkında yanlış bir şey söyledi
Bahsedilme oranı her yanıta tek bir soru sorar: marka anıldı mı? Yanıtın oraya vardıktan sonra ne söylediğini sormaz. Bu iki şeyin ne sıklıkla ayrıştığını bilmek istedik.
Örneklem: 4-16 Ekim 2026 arasında Proofsource çalışma alanlarından ChatGPT, Perplexity, Claude ve Google AI Overviews yanıtları. Takip edilen bir markayı anan her yanıt için bir denetleyici, marka hakkındaki her iddiayı markanın onayladığı ya da kendi sitesinden okuduğumuz bilgilerle karşılaştırdı. 63 çalışma alanındaki 80 markayı kapsayan 2.137 yanıt, kayıtlı bir bilgiyle karşılaştırılabilecek en az bir iddia içeriyordu.
Bunların 167'si, yani %7,8'i, markanın kendi bilgileriyle çelişen en az bir iddia içeriyordu (%95 aralığı %6,8 ile %9,0). İddia bazında, kontrol edilebilir 4.761 iddianın 200'ü yanlıştı, %4,2. Markalara dağıldığında 80 markanın 36'sının iki haftadan kısa sürede en az bir yanlış yanıtı oldu.
Bu 167 yanıtın her biri bir bahsedilme oranına sayıldı. Panelde her şeyi doğru söyleyen yanıtlarla tıpatıp aynı görünüyorlardı.
Yanlış iddiaların çoğu sayılardı: adetler, fiyatlar ve ürünün ne olduğu
200 yanlış iddiayı basit bir metin kuralıyla neyle ilgili olduklarına göre sıraladık; bu yüzden dağılımı kaba kabul edin.
- Adetler ve diğer rakamlar, 92: entegrasyonlar, şubeler, hizmet verilen müşteriler, bir puan sapmış bir yerleştirme oranı.
- Ürünün ne olduğu ya da ne yaptığı, 50: proje yönetimi yazılımı olarak anlatılan bir maliyet tahmini aracı, blokzincir projesi olarak anlatılan bir güvenlik firması.
- Fiyatlar ve planlar, 48: gerçeğinin altında verilen bir başlangıç fiyatı, plan başına yanlış belirtilen krediler.
- Tarihler, kurala göre 10, ama yalnızca 6'sı gerçekten kuruluş yılıydı ve çoğu bir yıl sapmıştı.
Claude yanıtların %12'sinde, Perplexity %5'inde bir bilgiyi yanlış verdi
Motora göre, kontrol edilen yanıtlar içinde en az bir yanlış iddia içerenlerin payı Claude'da %12,3 (470'in 58'i), Google AI Overviews'da %8,7 (516'nın 45'i), ChatGPT'de %6,0 (612'nin 37'si) ve Perplexity'de %5,0 (539'un 27'si) oldu.
Bunu bir puan tablosu olarak okumayın. Örneklemimizde her motor farklı bir soru karışımını yanıtladı ve farklı yöntemli dışarıdan bir araştırma onları farklı sıraladı (aşağıda daha fazlası var). Dördü için de geçerli olan şu: hiçbiri hatasız değildi.
Markanın kendi sitesini alıntılayan yanıtlar yarı yarıya daha az yanıldı
"Bu şirket ne yapıyor" ya da "ne kadar" gibi markanın adını geçiren sorularda yanıt, markanın kendi sitesini 1.353 kez alıntıladı. Bunların %7,1'i bir bilgiyi yanlış verdi (96). Markanın sitesi alıntılar arasında olmadığında bu oran %15,3'tü (307'nin 47'si, aralık %11,7 ile %19,8).
Markanın adını geçirmeyen alıcı sorularında, çok daha küçük sayılarla, belirgin bir fark yoktu: %4,8'e karşı %5,7. Bu bir test değil, bir korelasyon. Ama var olan en ucuz düzeltmeyi gösteriyor: bir motor sizi anlatırken, sizi okuyorsa daha sık doğru anlatıyor.
176 yanlış bilgi, 162'si yalnızca bir kez görüldü
Yanlış iddiaları marka, bilgi ve değere göre gruplayın; 200 iddia 176 farklı yanlış bilgiye iner. Bunların 162'si tek bir yanıtta göründü. Yalnızca 14'ü tekrarlandı ve yalnızca 8'i birden fazla motorda göründü.
Bu, nasıl harekete geçeceğinizi değiştirir. Bir motorun bir kez söylediği yanlış bir fiyat, bir daha hiç görmeyebileceğiniz bir çekiliştir. Sürekli geri gelen ya da iki motorda görünen bir yanlış ise bir yerden geliyordur ve o yer genellikle bir sayfadır. Motorların alıntıladığı sayfalarda 17 marka hakkında 65 yanlış bilgi de bulduk: hatayı zaten taşıyan üçüncü taraf sayfalar.
Kendi bahsedilme oranınızın arkasında neyi açmalısınız
Yalnızca oranı gösteren bir araç size bunların hiçbirini söyleyemez. Yanıtları isteyin.
- Anıldığınız her soru için tam yanıt metnini okuyun; sizi en çok ananlardan başlayın.
- Hakkınızdaki her iddiayı fiyat, ürün ve hakkımızda sayfalarınızla karşılaştırın. Fiyatlar, adetler ve kuruluş tarihleri ilk eskiyenlerdir.
- Yanıtın sizinle ilgili olduğunu kontrol edin. Benzer adlı bir şirket sizin bahsetmeniz olarak sayılabilir.
- Alıntılanan sayfaları açın. Kendi siteniz aralarında değilse motor sizi başka birinin sayfasından anlatıyordur.
- Harekete geçmeden önce tekrarları sayın. Önce günler ya da motorlar boyunca tekrarlanan iddiayı düzeltin ve geldiği sayfayı bulun.
Proofsource bunu nasıl ele alıyor
Proofsource her yanıtın tam metnini ve alıntılanan sayfalarını saklar. Markanızı anan her yanıt için hakkınızdaki iddiaları onayladığınız bilgilerle ve kendi sitenizden okunan bilgilerle karşılaştırır; yanlış kararını yalnızca alıntılanan iddia ve doğru değer kelimesi kelimesine göründüğünde tutar. Aynı yanlış değer yeniden görüldüğünde yeni bir uyarı oluşturmak yerine tek bir uyarının sayısına eklenir; benzer adlı farklı bir şirketle ilgili yanıtlar da sizinki sayılmak yerine işaretlenir.
Bu nerede yanlış olabilir
Denetleyici, kayıtlı bilgilere karşı okuyan bir dil modelidir. 200 yanlış iddianın 25'ini elle okuduk: 21'i açık çelişkilerdi, 4'ü zayıftı (hata olarak okunan eksik bir ayrıntı, bir aralık, kendisiyle çelişen bir bilgi listesi ve farklı bir ürünle ilgili bir iddia). Ayrıca yalnızca kayıtlı bir bilgiyle eşleşen iddiaları değerlendirir. 5.330 iddianın daha eşleşen bir bilgisi yoktu ve değerlendirilmedi; yani bu, bir markanın hiç yazıya dökmediği herhangi bir şeyle ilgili hataları kaçırır.
Bir markanın kendi bilgileri de eskimiş olabilir; bu da doğru bir yanıtı yanlış bir "yanlış"a çevirir. 80 marka çoğunlukla Proofsource'a kaydolan küçük şirketlerdir, rastgele bir örneklem değildir; on iki gün de kısa bir süredir ve bu, bir yanlış bilginin tekrarlanma şansını da sınırlar.
Dışarıdan bir karşılaştırma: Searchable, 1.704 markanın çalışanlarından yapay zekâ motorlarının kendileri hakkında söylediği 32.556 bilgiyi değerlendirmelerini istedi ve %9,2'si yanlış olarak işaretlendi; en kötü kategori %13,5 ile fiyatlandırmaydı. Değerlendiricileri, eskimiş ayrıntılar dahil yanlış olduğunu bildikleri her şeyi işaretleyebiliyordu; bu, bizim bilgi eşleşmeli kontrolümüzden daha geniş ve oranlarının daha yüksek olmasının olası nedeni. Ayrıca karşılaştırdıkları üç motor arasında en az doğru olanı Perplexity olarak buldular; bizim sıralamamızın tersi.
