Sahadan notlar4 dk okuma

Sunucuları yapay zekâ tarayıcılarını geri çeviren 32 sitenin 21'inde robots.txt izin veriyordu

Bir robots.txt denetleyicisi dosyayı okur ve orada durur. Bir tarayıcının sayfayı gerçekten alıp almadığına sunucu, CDN ve güvenlik duvarı karar verir; örneklemimizde tarayıcıları robots.txt'nin neredeyse üç katı sıklıkla geri çevirdiler.

199 siteyi hem robots.txt'de hem de sunucuda kontrol ettik

Sitemin hangi yapay zekâ tarayıcılarını engellediğini nasıl kontrol ederim? Bizimki dahil çoğu denetleyici robots.txt'yi okur ve orada durur. Dosyanın dayandığı standart olan RFC 9309, sınırları konusunda açık konuşuyor: "Bu kurallar bir erişim yetkilendirmesi biçimi değildir." Bir kural, tarayıcıdan uzak durmasını rica eder. Bir isteğin sayfayı alıp almadığına sunucunuz, CDN'iniz ve güvenlik duvarınız karar verir.

Proofsource, takip ettiği her markanın sitesini denetliyor. Her sitenin 5 Ekim ile 20 Kasım 2026 arasındaki en son denetimini aldık: kendi alan adlarımız ve test alan adları hariç 199 site. Her denetim, robots.txt'yi her yapay zekâ tarayıcısı için okuyor, ardından ana sayfayı her tarayıcı için bir kez, o tarayıcının yayımladığı User-Agent ile istiyor. Sunucunun sayfayı verip vermediğini ya da 401, 403, 429 veya bir bot doğrulaması ile cevap verip vermediğini kaydediyor.

Sunucular GPTBot'u 32 sitede reddetti; robots.txt 12 sitede engelledi

Sunucu, kendini GPTBot olarak tanıtan bir isteği 199 sitenin 32'sinde geri çevirdi: %16,1 (%11,6 ile %21,8 arası). robots.txt ise GPTBot'u 12 sitede (%6,0) yasakladı.

Bu 32 sitenin 21'inde robots.txt, kontrol ettiğimiz tüm yapay zekâ tarayıcılarına izin veriyordu. Yalnızca dosyaya bakan bir kontrol, bu 21 sitenin hepsine yapay zekâya açık olduklarını söylerdi.

Bir kez de tersi oldu. Bir site robots.txt'de GPTBot'u yasaklamıştı, ama sunucusu sayfayı yine de verdi. Dosya her iki yönde de bir ricadır.

Sunucu engellerinin çoğu eğitim tarayıcılarını vurdu, aramayı esirgedi

20 sitede sunucu GPTBot'u reddetti ama OAI-SearchBot ve ChatGPT-User'a sayfayı verdi; bunların 15'i ClaudeBot'u da reddetti. Bu ayrım bilinçli görünüyor. OpenAI'ın tarayıcı belgeleri tarayıcılarını ayrı ayarlar olarak ele alıyor: GPTBot eğitim verisi topluyor, OAI-SearchBot ChatGPT aramasında gösterilecek sayfaları buluyor. Birincisini reddetmek sizi ikincisinden çıkarmaz.

13 site, sayfaları yanıtlara taşıyan tarayıcıları reddetti

Alıntılanmak için önemli olan tarayıcılar arama ve kullanıcı ajanlarıdır. 13 site (%6,5) OAI-SearchBot, ChatGPT-User veya PerplexityBot'tan en az birini reddetti. robots.txt bunları 13 sitenin yalnızca birinde yasaklamıştı.

10 site gönderdiğimiz tüm yapay zekâ tarayıcılarını reddetti. Bu 10 sitenin 7'si düz bir hata sayfası yerine Cloudflare bot doğrulamasıyla cevap verdi. OpenAI, OAI-SearchBot'u engelleyen bir sitenin ChatGPT arama yanıtlarında gösterilmeyeceğini söylüyor ve görünmek isteyen sitelerden robots.txt'deki adının yanı sıra yayımladığı IP aralıklarına da izin vermelerini istiyor.

Bu engellerin bir kısmı muhtemelen hiç elle yazılmadı

Cloudflare, Eylül 2024'te yapay zekâ tarayıcılarını tek tıkla engelleme seçeneği ekledi ve bir milyondan fazla müşterinin bunu açtığını söylüyor. 1 Temmuz 2025'ten beri de her yeni alan adına kayıt sırasında yapay zekâ tarayıcılarına izin verip vermeyeceğini soruyor. Bir panelde bir kez seçilmiş ya da hesabı kuran kişinin seçtiği bir ayar robots.txt'de görünmez. Bir tarayıcı reddediliyorsa ve ekibinizde kimse buna karar verdiğini hatırlamıyorsa, ilk oraya bakın.

İkisini de on dakikada kontrol edin

  • robots.txt'yi önce yanıt tarayıcıları için okuyun: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Ardından eğitim tarayıcıları GPTBot ve ClaudeBot hakkında ayrıca karar verin.
  • Ana sayfanızı curl ile, User-Agent'ı her tarayıcının adına ayarlayarak isteyin. 403, 429 ya da bir doğrulama sayfası, robots.txt ne derse desin sunucunun isteği reddettiği anlamına gelir.
  • CDN'inizin bot ve yapay zekâ tarayıcısı ayarlarını açın ve her tarayıcının neye ayarlandığını okuyun. Cloudflare'de hem yapay zekâ tarayıcı kontrollerini hem de yapay zekâ botlarını engelleyen kuralları kontrol edin.
  • Güvenlik duvarınız yalnızca doğrulanmış botları geçiriyorsa, yapay zekâ şirketlerinin yayımladığı IP aralıklarının izin listesinde olduğundan emin olun, sonra günlüklerinizde bu tarayıcılara verilen 403'lere bakın.

Proofsource bunu nasıl kontrol ediyor

Her Proofsource site denetimi robots.txt'yi her yapay zekâ tarayıcısı için okur ve ana sayfanızı her biri olarak ister. robots.txt bir tarayıcıya izin verip sunucu onu geri çevirdiğinde, ilk tarama bunu değiştirilecek ayarla birlikte kendi satırında bildirir.

Bunun nerede yanlış olabileceği

İsteklerimiz OpenAI'ın, Anthropic'in ya da Perplexity'nin değil, bizim sunucularımızdan geldi. İsteğin nereden geldiğini kontrol eden bir güvenlik duvarı bizimkini reddedip gerçek tarayıcıya yine de sayfayı verebilir. Bu en çok bot doğrulamaları için geçerli. Bir reddi, ChatGPT'nin sizi okuyamadığının kanıtı olarak değil, CDN ayarlarınızı açmak için bir neden olarak görün.

Her tarayıcı için tek istek, yalnızca ana sayfaya, tek bir anda. Retlerin 5'i 429 hız sınırıydı ve bunlar geçici olabilir. Başka sayfaların başka kuralları olabilir.

Proofsource'ta takip edilen markaların 199 sitesi; bu, web'in rastgele bir örneklemi değil. Önceki denetimler beş tarayıcı, sonrakiler sekiz tarayıcı gönderdi; bu yüzden Claude-SearchBot, Claude-User ve Perplexity-User sayıları 189 siteyi kapsıyor. Sitelerin günlüklerini görmedik, bu yüzden gerçek tarayıcı ziyaretlerine nasıl cevap verildiğini söyleyemeyiz.

Dış rakamların nereden geldiği

  1. RFC 9309: Robots Exclusion Protocol · IETF
  2. Overview of OpenAI Crawlers · OpenAI
  3. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large · Cloudflare
  4. Yapay zekâ botları için ücretsiz robots.txt testi (GPTBot) · Proofsource
Tüm notlar

Sorular

robots.txt yapay zekâ tarayıcılarını engeller mi?

Onlardan uzak durmalarını rica eder ve büyük yapay zekâ şirketleri buna uyduklarını söylüyor, ama bir isteği durdurmaz. 199 sitelik denetimimizde bir site robots.txt'de GPTBot'u yasaklamıştı ve sunucusu sayfayı yine de verdi.

Cloudflare'in ChatGPT'yi engelleyip engellemediğini nasıl anlarım?

Ana sayfanızı User-Agent'ı OAI-SearchBot olarak ayarlayarak isteyin ve 403 ya da bir doğrulama sayfası olup olmadığına bakın, ardından Cloudflare'deki yapay zekâ tarayıcı ayarlarınızı okuyun. Örneklemimizde tüm yapay zekâ tarayıcılarını reddeden 10 sitenin 7'si bunu Cloudflare bot doğrulamasıyla yaptı.

GPTBot'u engellersem ChatGPT'den kaybolur muyum?

ChatGPT aramasından kaybolmazsınız. OpenAI, GPTBot'u (eğitim) ve OAI-SearchBot'u (arama) ayrı ayarlar olarak belgeliyor. Kontrol ettiğimiz 199 sitenin 20'sinde sunucu GPTBot'u reddetti ve OAI-SearchBot'a sayfayı yine de verdi.

Kendi sayılarınız en iyi yazımızı geçer.

Kategorinizdeki kısa liste şu anda yazılıyor, bu sayfayı biri okusa da okumasa da. Ücretsiz deneme, bugün dört motorda 25 soru, adınızın içinde olup olmadığını söyler.

100 yanıt. 25 Prompts/soru. En iyi yapay zekâ motorları. Ücretsiz.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI