ClaudeBot nedir?
ClaudeBot, Anthropic'in Claude modellerinin eğitimine katkı sağlayabilecek web içeriğini toplayan Anthropic web botudur. Anthropic, ayrı görevleri olan üç bot çalıştırır: eğitim için ClaudeBot, arama dizini için Claude-SearchBot ve biri Claude'a bir soru sorduğunda sayfa çekmek için Claude-User. Her biri robots.txt'de ayrı ayrı adlandırılır; yani ClaudeBot için yazılan bir kural diğer ikisi hakkında hiçbir şey söylemez.
ClaudeBot'un user agent'ı nedir?
ClaudeBot kendini ClaudeBot ürün token'ıyla tanıtır ve bir robots.txt grubunun adlandırması gereken de tam olarak bu token'dır. Anthropic'in yardım makalesi üç botu (ClaudeBot, Claude-User ve Claude-SearchBot) adlandırır ama tam bir user agent dizesi yayımlamaz; bu yüzden kayıtlarınızda kopyalanmış bir dize yerine token'ı arayın (Anthropic bot makalesi, 15 Eki 2026 tarihinde okundu).
Bir kayıt satırındaki ad taklit edilebilir. Bir isteğin gerçekten Anthropic'ten geldiğini doğrulamak için kaynak IP'sini Anthropic'in claude.com/crawling/bots.json adresinde yayımladığı listeyle karşılaştırın; Anthropic'e göre kaynak IP'si bu listede olan bir bot Anthropic'ten gelir.
Bazı robots.txt dosyaları hâlâ eski token'lar olan anthropic-ai veya Claude-Web'i adlandırır. Anthropic'in güncel makalesi bunların hiçbirinden bahsetmez; yani yalnızca bu eski token'ları adlandıran bir kuralın ClaudeBot'u kapsadığı kanıtlanmış değildir.
ClaudeBot ne toplar ve ne için?
ClaudeBot, Anthropic'in üretken yapay zekâ modellerinin eğitimine katkı sağlayabilecek herkese açık web içeriğini toplar; Anthropic'e göre bu, modellerin yararlılığını ve güvenliğini artırır. Onu engellemek, sitenin gelecekteki içeriğinin Anthropic'in eğitim verilerinin dışında kalması gerektiğini bildirir.
Anthropic botlarının nasıl davrandığını da anlatır:
- robots.txt'deki “tarama” yasağı talimatlarına uyarlar.
- CAPTCHA'ları veya diğer koruma önlemlerini aşmaya çalışmazlar.
- Standart olmayan Crawl-delay kuralını desteklerler; böylece ClaudeBot'u engellemeden yavaşlatabilirsiniz.
- Bir kural bir sunucu için geçerlidir; yani alt alan adları olan bir sitenin kuralı her alt alan adının robots.txt dosyasına koyması gerekir.
ClaudeBot'un Claude-User ve Claude-SearchBot'tan farkı nedir?
ClaudeBot eğitimle ilgilidir; Claude-SearchBot ve Claude-User ise insanlar Claude'a bir şey sorduğunda bulunmak ve okunmakla. Anthropic, son ikisinden birini kapatmanın sitenizin Claude'un arama yanıtlarındaki görünürlüğünü azaltabileceği konusunda uyarır.
| Bot | Görevi | Engellerseniz |
|---|---|---|
| ClaudeBot | Model eğitimine katkı sağlayabilecek web içeriğini toplar | Gelecekteki içeriğinizin eğitimin dışında kalması gerektiğini bildirir |
| Claude-SearchBot | Claude'un arama sonuçlarının kalitesini ve ilgililiğini artırmak için web'i okur | Arama için dizine eklemeyi durdurur; bu da Claude'un arama yanıtlarındaki görünürlüğünüzü ve doğruluğunuzu azaltabilir |
| Claude-User | Biri Claude'a ona ihtiyaç duyan bir soru sorduğunda sayfayı çeker | Claude bu tür sorular için sayfalarınızı çekemez; bu da kullanıcının başlattığı aramalardaki görünürlüğünüzü azaltabilir |
ClaudeBot'u robots.txt'de nasıl engeller veya izin verirsiniz?
Her sunucunun kök dizinindeki robots.txt dosyasına ClaudeBot'u adlandıran bir grup ekleyin. Anthropic'in örneği, User-agent: ClaudeBot altında tek bir Disallow: / satırıyla ClaudeBot'u tüm sitede engeller.
Yaygın tercih, içeriği eğitimin dışında tutup Claude'un yanıtlarında bulunabilir kalmaktır: ClaudeBot'u engelleyin, diğer ikisine izin verin. Crawl-delay, Anthropic'in ClaudeBot'u engellemek yerine yavaşlatmak için belgelediği yoldur. Bunun yerine Anthropic'in IP adreslerini engellemeye güvenmeyin; Anthropic'e göre bu, botlarının robots.txt dosyanızı okumasını engellediği için güvenilir şekilde çalışmayabilir. Ardından canlı dosyayı ücretsiz yapay zekâ botu denetleyicisi ile kontrol edin.
# İçeriği Anthropic'in eğitiminin dışında tut
User-agent: ClaudeBot
Disallow: /
# Claude'un yanıtlarında bulunabilir kal
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Ya da ClaudeBot'u engellemek yerine yavaşlat:
# User-agent: ClaudeBot
# Crawl-delay: 1Bu, Claude tarafından alıntılanmak için ne anlama gelir?
Claude'un sizi alıntılaması, Claude-SearchBot ve Claude-User'ın sayfalarınıza ulaşmasına bağlıdır; ClaudeBot ise eğitimle ilgili ayrı bir karardır. Üçünü de engelleyen ikisinden de vazgeçer.
Claude'un alıntıları ünlü bir markada bile çok dağınıktır. Herkese açık Tesla örneğinde (4 Eki 2026) Claude alıcı sorularına verilen 25 yanıtın 11'inde Tesla'yı andı ve bu yanıtlarda 351 alıntı yaptı; bunlardan yalnızca biri tesla.com'a gitti. En çok alıntılanan site 16 kezle en.wikipedia.org'du. Bu alıntı alanında oyuna girip giremeyeceğinize arama botu kuralı karar verir; alan ise robots.txt okunarak değil, sorular sorularak ölçülür. Bkz. Claude anılan markaları nasıl seçer.
ClaudeBot hakkında sık sorulan sorular
ClaudeBot'u engellemek sitemi Claude'dan çıkarır mı?
Anthropic'in anlatımına göre hayır. ClaudeBot eğitim botudur. Arama dizinini Claude-SearchBot, bir kullanıcının sorusu için sayfa çekmeyi Claude-User üstlenir; Anthropic'e göre bu ikisini engellemek Claude'un arama yanıtlarındaki görünürlüğünüzü azaltabilir.
ClaudeBot robots.txt'ye uyar mı?
Anthropic'e göre botları robots.txt talimatlarına uyar, CAPTCHA'ları aşmaz ve Crawl-delay'i destekler. Kuralı, kapsanmasını istediğiniz her alt alan adının robots.txt dosyasına koyun.
ClaudeBot'u IP adresine göre mi engellemeliyim?
Anthropic buna güvenmemenizi öneriyor: IP adreslerini engellemek doğru veya kalıcı şekilde çalışmayabilir ve botların robots.txt dosyanızı okumasını engeller. Kural için robots.txt'yi, Anthropic'in yayımladığı IP listesini ise yalnızca bir isteğin gerçek olduğunu doğrulamak için kullanın.
ClaudeBot ile anthropic-ai aynı şey mi?
Hayır. anthropic-ai ve Claude-Web, bazı robots.txt dosyalarında hâlâ bulunan eski token'lardır ve Anthropic'in güncel makalesi onlardan bahsetmez. Makale yalnızca ClaudeBot, Claude-SearchBot ve Claude-User'ı adlandırır; kurallarınızı bu üçü için yazın.
İlgili terimler
- GPTBot
GPTBot, OpenAI'ın üretken yapay zekâ temel modellerini eğitmekte kullanılabilecek içeriği toplayan OpenAI web botudur.
- OAI-SearchBot
OAI-SearchBot, web sitelerini ChatGPT'nin arama özelliklerinde göstermek için kullanılan OpenAI botudur; onu engelleyen siteler ChatGPT arama yanıtlarında gösterilmez.
- PerplexityBot
PerplexityBot, web sayfalarını Perplexity'nin arama sonuçlarında gösterilip bağlantı verilebilmeleri için dizine ekleyen Perplexity botudur.
Uygulamalı örnek: Tesla, herkese açık yapay zekâ yanıtları, 4 Eki 2026: Proofsource'un Tesla için yaptığı ilk tarama, 25 alıcı sorusu ve 5 marka sorusu, dört motorun her birinde soru başına bir yanıt. Tek bir markadan küçük bir örnek; bir kıyaslama değil, örnek olarak gösteriliyor.
Yapay zekânın sizi nerede atladığını görün, neyi düzelteceğinizi de.
Hangi alıcı sorularının markanızı andığını, yerinize kimin anıldığını ve neyi düzeltmeniz gerektiğini görün. 200 yanıt. 25 Prompts/soru. En iyi yapay zekâ motorları. 2 gün. Ücretsiz. Kart gerekmez.
Google AI OverviewsGoogle AI Mode
