OpenAI dört ajan gönderiyor ve ChatGPT aramasını yalnızca biri belirliyor
GPTBot'u engelleyen bir robots.txt parçası dolaşıyor. Birçok kişi bunu yapıştırdı ve ChatGPT meselesini çözdüğünü düşündü. Bir meseleyi çözdüler. Sadece o meseleyi değil.
OpenAI, her birinin kendi işi olan dört user agent belgeliyor. GPTBot, temel modelleri eğitmek için kullanılabilecek içeriği tarar. OAI-SearchBot, siteleri ChatGPT'nin arama özelliklerinde göstermek için kullanılandır ve OpenAI'ın kendi sayfası, onu engelleyen sitelerin ChatGPT arama yanıtlarında gösterilmeyeceğini, ancak gezinme bağlantıları olarak yine de çıkabileceğini söylüyor. ChatGPT-User, bir kişi ChatGPT'ye bir şey sorduğunda bir sayfayı getirir ve bunu bir kullanıcı başlattığı için OpenAI robots.txt kurallarının geçerli olmayabileceğini söylüyor. OAI-AdsBot yalnızca reklam olarak gönderilen sayfaları ziyaret eder.
OpenAI her ayarın bağımsız olduğu konusunda açık. OAI-SearchBot'a izin verip GPTBot'u engelleyebilirsiniz; bu, bulunabilir olmaya evet, eğitim verisi olmaya hayır demektir. Bu çoğu şirketin benimsemesi makul bir tutum ve okuduğumuz robots.txt dosyalarının neredeyse hiçbiri bunu gerçekten söylemiyor. Her iki durumda da yaklaşık bir gün tanıyın: OpenAI, bir robots.txt değişikliğinden sonra sistemlerinin bunu yakalamasının kabaca 24 saat sürdüğünü söylüyor.
Anthropic işi üçe bölüyor, Perplexity ise bir kişi sorduğunda sizi dinlemiyor
Anthropic üç bot çalıştırıyor. ClaudeBot eğitime girebilecek web içeriğini toplar. Claude-SearchBot arama sonuçlarını iyileştirmek için içeriği dizine ekler. Claude-User biri Claude'a soru sorduğunda bir sayfayı getirir. Anthropic'in yardım sayfası her birinin sonucunu açıkça yazıyor: Claude-SearchBot'u kapatırsanız içeriğiniz arama için dizine eklenmez, Claude-User'ı kapatırsanız Claude bir kullanıcının sorusuna yanıt olarak sayfanızı getirmez.
Perplexity iki bot çalıştırıyor. PerplexityBot siteleri Perplexity'nin sonuçlarında göstermek ve bağlantı vermek için var ve eğitim verisi toplamak için hiç kullanılmıyor. Perplexity-User biri soru sorduğunda bir sayfayı ziyaret eder ve Perplexity'nin belgeleri söylenmeyeni açıkça söylüyor: getirmeyi bir kullanıcı istediği için bu getirici genellikle robots.txt'i yok sayar.
Hepsini toplayın; yapay zekâ botlarını toptan engelleme kuralı tuhaf bir yere düşer. Yukarıdaki dokuz ajandan, insanların durdurmak istediklerinin çoğu bağlantınızı bir alıcının önüne koyanlardır ve biri zaten robots.txt'i dinlemiyor.
Google-Extended'ın AI Overviews ile hiçbir ilgisi yok
İnsanlara en pahalıya mal olan budur. Google-Extended, kendine ait bir user agent dizesi olmayan bir robots.txt token'ıdır ve taranan içeriğin gelecekteki Gemini modellerini eğitip eğitmeyeceğini ve Gemini Apps'e dayanak olup olmayacağını kontrol eder. Google'ın bot belgeleri, bunun bir sitenin Google Arama'ya dahil edilmesini etkilemediğini ve bir sıralama sinyali olarak kullanılmadığını açıkça belirtiyor. Onu engellemek AI Overviews'a hiçbir şey yapmaz.
AI Overviews ve AI Mode, Arama'dır. Google bunu site sahipleri için kendi rehberinde söylüyor: yapay zekâ Arama'nın içine yerleşiktir ve kontrol, Googlebot için robots.txt yönergeleridir. Sonra insanları yakalayan cümle geliyor. AI Overviews veya AI Mode'da destekleyici bağlantı olmaya uygun olmak için bir sayfanın dizine eklenmiş ve bir snippet ile gösterilmeye uygun olması gerekir. Siz ya da sizden önce biri kazıyıcıları uzak tutmak için nosnippet, data-nosnippet veya sıkı bir max-snippet ayarladıysa, kendinizi yapay zekâ yanıtından çıkarmışsınızdır ve analitiğinizde hiçbir şey bunu raporlamamıştır.
Aynı Google rehberi, bu özelliklerde görünmek için yeni makinece okunabilir dosyalar veya yapay zekâ metin dosyaları oluşturmanız gerekmediğini söylüyor. Bir süredir insanlara llms.txt'i bir düzeltme olarak görmemelerini söylüyoruz: izlediğimiz motorların hiçbiri onu bir sıralama sinyali olarak belgelemiyor. Google'ın genel hâlini kendi sözleriyle söylemesi işe yarıyor.
CDN'iniz bunu sizin yerinize çoktan yanıtlamış olabilir
Cloudflare 1 Temmuz 2025'te, içerik için ödeme yapmadıkları sürece yapay zekâ botlarını engelleyecek şekilde varsayılanı değiştirdiğini duyurdu ve sizin adınıza sunduğu, yeni botlar çıktıkça güncel tuttuğu yönetilen bir robots.txt yayımladı. Cloudflare'e katılan her yeni siteden artık kurulumda bu seçimi yapması isteniyor.
Yani birçok şirket için robots.txt'imin ChatGPT hakkında ne söylediği sorusunun dürüst yanıtı şu: bilmiyorum, CDN'im yazıyor. Bir WAF kuralı aynı işi daha kapsamlı yapar. İstek sunucunuza hiç ulaşmaz; bu yüzden loglarınızda veya analitiğinizde hiçbir şey gerçekleşmemiş bir ziyareti kaydetmez. Sayfanız hâlâ sıralanır, hâlâ yüklenir, size hâlâ doğru görünür.
Ulaşan bir getirmenin de içinde kelimelerle geri dönmesi gerekir. İstemci tarafında oluşturulan bir sayfa bu ajanlara bir 200 ve boş bir kapsayıcı verir; bu size çalışan bir sayfa gibi, onlara ise hiçbir şey gibi okunur.
Meseleyi bir öğleden sonrada çözen altı kontrol
Bunların hiçbiri bir araç gerektirmiyor. curl, loglarınız ve bir saat gerektiriyor. Biz bunu arkasında Cloudflare bot analitiği olan bir bot erişilebilirliği denetimi olarak çalıştırıyoruz, ama her satırı kendiniz yapabilirsiniz.
- robots.txt'inizi deponuzdan değil, herkese açık internet üzerinden getirin ve içinde her token'ı adıyla arayın: OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot.
- Bunu her alt alan adı için yapın. docs.example.com ve www.example.com ayrı dosyalar ve ayrı kararlardır; alıntılanmasını istediğiniz genellikle docs alt alan adıdır.
- Aktarılmasını istediğiniz bir sayfayı her ajanın yayımlanmış user agent dizesiyle isteyin ve dönenleri okuyun. Boş bir div ile gelen 200 bir başarı değil, bir başarısızlıktır.
- CDN'inizde ve WAF'ınızda mevcut ekipten kimsenin yazmadığı yönetilen bir robots.txt veya bot kuralı arayın.
- En iyi sayfalarınızın head bölümünde noindex, nosnippet, data-nosnippet ve max-snippet olup olmadığını kontrol edin. Bunlardan herhangi biri bir sayfayı sessizce AI Overviews uygunluğundan çıkarabilir.
- Erişim loglarınızda ajan adlarını arayın, ardından kaynak adreslerini OpenAI, Perplexity ve Anthropic'in yayımladığı IP aralıklarıyla karşılaştırın. Bir user agent dizesini yazmak bedavadır. Doğrulayan kısım adres aralığıdır.
Bunun nerede yanlış olabileceği
Yukarıdaki her şey, her motorun kendi botlarını anlatmasıdır ve hem token'lar hem de davranışlar değişiyor. Anthropic'in sayfası Nisan 2026 tarihini taşıyor, Google'ın bot listesi en son Temmuz 2026'da güncellendi ve OpenAI sayfa getiren bir ürün çıkardıkça bir ajan ekliyor. Bir satırı değiştirmeden önce bu makaleyi değil, güncel belgeleri okuyun.
robots.txt bir ricadır. Bir şirketin botunun buna uyduğunu söylemesi bir politika beyanıdır, bir uygulama mekanizması değil; buradaki getiricilerden ikisi bunu kullanıcı tarafından başlatılan isteklere hiç uygulamadığını belgeliyor. Bir şeyin okunmamasına ihtiyacınız varsa, robots.txt hiçbir zaman doğru araç değildi.
Bir bota izin vermek de sizi alıntılatmaz. Erişim zemindir, yanıt değil. Örneklediğimiz kategoride, en iyiler sorusu için ChatGPT'nin alıntıladıklarının %44'ü listelerdi; yani okunabilir olmak ile seçilmek iki ayrı sorundur. Bizim %44'ümüz aldığımız örneklemdeki tek bir ölçümdür, bir sabit değil.
Yine de bir öğleden sonraya değer, çünkü bu hata yapısı gereği sessizdir. Hiçbir yerde hiçbir şey gerçekleşmemiş bir getirmeyi raporlamaz.
