64.222 yapay zekâ tarayıcı isteğini üreticilerin kendi listeleriyle karşılaştırdık
Kayıtlarınızdaki yapay zekâ tarayıcı ziyaretleri gerçek mi? Bir tarayıcı kendini bir user agent ile, yani "GPTBot/1.1" gibi bir metin satırıyla tanıtır. Bu satırı herkes gönderebilir. OpenAI, Anthropic ve Perplexity, botlarının kullandığı IP adreslerini yayımlar; bir istek ancak adı ve adresi uyuşuyorsa onlarındır.
Altı web sitesi Cloudflare'i Proofsource'a bağladı ve hiçbiri bizim değil. Bir yapay zekâ tarayıcısının adını taşıyan her istekte, adresi o botun üreticisinin yayımladığı listeyle karşılaştırdık. 12 Ekim ile 13 Kasım 2026 arasındaki 33 günü ve beş botu aldık: OpenAI'ın GPTBot, OAI-SearchBot ve ChatGPT-User botları, Anthropic'in ClaudeBot'u ve PerplexityBot. Sayılar, Cloudflare'in örneklenmiş istek verilerinden yapılan tahminlerdir.
İsteklerin %52,9'u kontrolden geçemedi, tarayıcılar arasında en çok GPTBot
Beş bottan birinin adını taşıyan 64.222 isteğin 33.964'ü, üreticisinin listelemediği bir adresten geldi: %52,9. Bot bazında kontrolden geçemeyenlerin payı ChatGPT-User için %83,0, GPTBot için %72,6, ClaudeBot için %61,0, OAI-SearchBot için %34,4 ve PerplexityBot için %34,1 oldu.
Aynı yöntemle Google'ın listelerine göre kontrol edilen Googlebot, aynı sitelerde isteklerin %20,7'sinde kontrolden geçemedi. En azından burada, yapay zekâ tarayıcılarının adları Google'ınkinden daha sık taklit edildi.
Üç site çoğunlukla sahteydi, üçü neredeyse temizdi
Ortalama asıl hikâyeyi gizliyor. Üç sitede yapay zekâ tarayıcı isteklerinin %69'u, %84'ü ve %96'sı kontrolden geçemedi. Diğer üçünde bu oranlar %4, %5 ve %7 idi. En kötü sitede ClaudeBot 251 doğrulanmış ve 7.144 kontrolden geçemeyen istek yaptı.
Yani "yapay zekâ bot trafiğinin ne kadarı sahte" sorusu için tek bir ölçüt pek bir şey ifade etmiyor. Kendi siteniz iki uçtan birinde olabilir ve hangisinde olduğunu yalnızca kendi trafiğinizi kontrol ederek öğrenebilirsiniz.
Kontrolden geçemeyen 253 adresin 200'ü başka bir şirketin botu olduğunu da iddia etti
Cloudflare bize her bot, site ve gün için en fazla üç örnek adres veriyor. Kendi sunucularımızı dışarıda bıraktığımızda, beş bottan biri olduğunu iddia edip kontrolden geçemeyen 253 örnek adres kaldı. Bunların 200'ü başka bir istekte farklı bir şirketin botu olduğunu da iddia etti, 168'i ise üç ya da daha fazla şirketin botu olduğunu. Bir adres, dokuz şirkete ait 12 farklı bot adı kullandı.
Hiçbir gerçek tarayıcı bunu yapmaz. GPTBot OpenAI'ın listesinden, Googlebot ise Google'ınkinden gelir. İkisi birden olan bir adres, biri geçene kadar adları deneyen birine aittir ve çoğunlukla kiralık bulut sunucularından gelir.
Listeler bazı gerçek trafiği kaçırıyor, bu yüzden her listeyi kontrol edin
Kontrol diğer yönde de kusursuz değil. Claude'un, bir kullanıcının sorduğu sayfayı okumak için kullandığı ajan olan Claude-User, bu sitelerde isteklerin %97,5'inde kontrolden geçemedi. Kontrolden geçemeyen örneklerin yaklaşık yarısı 160.79.104.0/21 aralığından geldi. Anthropic bu aralığı, API IP sayfasında giden web getirme ve web arama çağrılarının kaynağı olarak yayımlıyor; bu sayfa onun tarayıcı listesi değil.
Bu ziyaretler büyük olasılıkla gerçek ve yalnızca tarayıcı listesine göre yapılan bir kontrol onları sahte sayıyor. Claude-User'ı %52,9'un dışında tutmamızın nedeni bu. Elle doğrulama yapıyorsanız yalnızca tarayıcı dosyasını değil, bir şirketin getirme araçları için yayımladığı her aralığı kontrol edin.
Biz ne yapardık
- Yapay zekâ tarayıcı ziyaretlerini adlarına göre değil, doğrulanmış adreslerine göre sayın. Adları sayan bir panelin yarıdan fazlası kılık olabilir.
- Her üreticinin listesini kullanın: openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json, claude.com/crawling/bots.json ile Anthropic'in API aralıkları ve perplexity.ai/perplexitybot.json.
- Güvenlik duvarınız botları adlarına göre içeri alıyorsa adresi de eşleştirin. Perplexity'nin kendi belgeleri, her user agent'ı IP aralıklarıyla eşleştiren bir Cloudflare kuralı gösteriyor.
- Taklitçilerin yaptıkları yüzünden bir botu adıyla engellemeyin. Sahteler o bot değil; gerçek OAI-SearchBot'u ya da PerplexityBot'u engellemek sizi onların arama sonuçlarının dışında bırakır.
Proofsource bunu nasıl gösteriyor
Bir site Cloudflare'i bağladığında Proofsource, her yapay zekâ tarayıcı isteğinin adresini üreticisinin yayımladığı listeyle karşılaştırır ve her bot için doğrulanmış ve kontrolden geçemeyen istekleri ayrı ayrı gösterir. Üreticisi liste yayımlamayan botlar, gerçek ya da sahte sayılmak yerine doğrulanamaz olarak gösterilir. Kontrolümüzde yukarıda anlatılan Claude-User boşluğu var ve Anthropic'in API aralıklarını ekliyoruz.
Bunun nerede yanlış olabileceği
Altı site küçük bir örneklem ve bu siteler Cloudflare'i bir görünürlük aracına bağladı, yani ortalama bir siteye benzemeyebilirler. Aralarındaki fark, %52,9'dan daha önemli.
Claude-User'ın gösterdiği gibi bir liste güncel olmayabilir ya da eksik kalabilir. Diğer botlardaki bazı başarısızlıklar, henüz listelenmemiş adreslerden gelen gerçek trafik olabilir. Birden fazla şirketin botu olduğunu iddia eden adresler, bunu çoğu için olası kılmıyor.
Kendi site kontrolümüz bu bot adlarıyla birkaç istek gönderiyor. Bu döneme en fazla 300 tanesi düşmüş olabilir; hepsini çıkarsak bile oran %52,7 kalıyor.
İstekler birbirinden bağımsız değil ve yoğun çalışan tek bir kazıyıcı bir sitenin sayısını değiştirebilir. Dışarıdan bir değerlendirme, iki hafta boyunca tek bir yeni sitede, yapay zekâ asistanı olduğunu iddia eden ziyaretlerin 33'te 6'sını gerçek buldu. Bu farklı bir site ve yöntem, ama aynı yönü gösteriyor.