Yapay zekâ botları ve Googlebot için robots.txt denetleyicisi
Ücretsiz bir robots.txt kontrol aracı. robots.txt dosyanızı yapıştırın; OpenAI, Anthropic ve Perplexity'nin yapay zekâ botlarıyla Googlebot ve Bingbot dahil 16 bot için okuyalım ve her birinin izinli mi, engelli mi, yoksa hiç anılmamış mı olduğunu, buna karar veren satırla birlikte gösterelim.
Yapay zekâ ve arama olmak üzere on altı bot ve her birinin ne işe yaradığı.
Sonuçlar burada görünür. Hiçbir şey saklanmaz ve hiçbir yapay zekâ modeli kullanılmaz: bu düz bir robots.txt okumasıdır.
GPTBot · OpenAI · Eğitim
OpenAI modellerini eğitmek için sayfa toplar.
OAI-SearchBot · OpenAI · Ara
Sayfaları ChatGPT aramasının alıntılayabilmesi için dizine ekler.
ChatGPT-User · OpenAI · Kullanıcı isteğiyle getirme
Bir ChatGPT kullanıcısı istediğinde bir sayfayı açar.
ClaudeBot · Anthropic · Eğitim
Claude modellerini eğitmek için sayfa toplar.
Claude-SearchBot · Anthropic · Ara
Sayfaları Claude'un arama yanıtlarında alıntılayabilmesi için dizine ekler.
Claude-User · Anthropic · Kullanıcı isteğiyle getirme
Bir Claude kullanıcısı istediğinde bir sayfayı açar.
anthropic-ai · Anthropic · Eğitim
Birçok robots.txt dosyasının hâlâ andığı eski bir Anthropic belirteci.
PerplexityBot · Perplexity · Ara
Sayfaları Perplexity'nin yanıtlarda alıntılayabilmesi için dizine ekler.
Perplexity-User · Perplexity · Kullanıcı isteğiyle getirme
Bir Perplexity kullanıcısı istediğinde bir sayfayı açar.
Google-Extended · Google · Eğitim
Gemini'nin, Googlebot'un taradığı sayfalarla eğitilip eğitilemeyeceğini belirler. Arama etkilenmez.
Googlebot · Google · Ara
AI Overviews ve AI Mode'un dayandığı kaynak olan Google Arama.
Bingbot · Microsoft · Ara
Bing araması, Copilot yanıtlarının dayandığı dizin.
Applebot-Extended · Apple · Eğitim
Apple'ın, Applebot'un taradığı sayfalarla modellerini eğitip eğitemeyeceğini belirler.
CCBot · Common Crawl · Eğitim
Birçok modelin eğitildiği açık Common Crawl veri kümesini oluşturur.
Meta-ExternalAgent · Meta · Eğitim
Meta AI modellerini eğitmek için sayfa toplar.
Bytespider · ByteDance · Eğitim
ByteDance modellerini eğitmek için sayfa toplar.
Kurallar RFC 9309'a uyar: bir bot kendisini adlandıran gruplara, yoksa * grubuna uyar; en uzun eşleşen kural kazanır, eşitlikte Allow kazanır. Karar ana sayfa içindir. Eğitim botları gelecekteki modelleri besler; arama botları bir yapay zekâ yanıtının sizi bugün alıntılayıp alıntılayamayacağına karar verir; kullanıcı istekleri, biri bir asistandan sayfanızı açmasını istediğinde gerçekleşir.
robots.txt erişimin yalnızca yarısıdır. Bir CDN bot ayarı, robots.txt'nin izin verdiği bir botu yine de geri çevirebilir ve bu kontrol bunu göremez; Proofsource'taki Bot erişimi, bunu öğrenmek için sayfalarınızı her bot olarak ister. GPTBot'u engellemenin sizi neden ChatGPT'den çıkarmadığını okuyun, dosyanızı llms.txt doğrulayıcısıyla kontrol edin veya yapay zekâ görünürlüğü rehberiyle başlayın.
Yanıtların anlamı.
Eğitim botlarını engellemeli miyim?
Bu bir iş kararıdır. GPTBot ya da ClaudeBot'u engellemek sayfalarınızı gelecekteki eğitim setlerinin dışında tutar, ama ChatGPT ya da Claude'un arama botları üzerinden sizi alıntılamasını engellemez. OAI-SearchBot, Claude-SearchBot ya da PerplexityBot'u engellemek ise sizi o yanıtlardan gerçekten çıkarır.
Bir bot neden bahsedilmedi diyor?
robots.txt dosyanızda onun için bir grup yok, bu yüzden * grubunu izler. * grubu da yoksa onu hiçbir şey kısıtlamaz.
robots.txt her botu durdurur mu?
Hayır. Büyük yapay zekâ şirketlerinin uyduklarını söylediği bir taleptir. Onu yok sayan bir botu engellemez; bunu bir güvenlik duvarı kuralı yapar.
Taranabilir olmak ilk adımdır.
Proofsource, ChatGPT, Perplexity, Claude ve Google'ın sizi gerçekten anıp anmadığını, onun yerine hangi rakipleri andığını ve neyi düzeltmeniz gerektiğini gösterir.