CCBot nedir?
CCBot, araştırmacıların ve yapay zekâ geliştiricilerinin eğitim verisi olarak kullandığı, web'in ücretsiz ve açık bir kopyasını yayımlayan kâr amacı gütmeyen Common Crawl'un web botudur. CCBot bir yapay zekâ şirketinin botu değildir, ama arşivi birçok yapay zekâ modelini besler. Common Crawl web'in kopyasını ücretsiz yayımlar; bu yüzden CCBot'u engellemek, araştırmacıların ve yapay zekâ geliştiricilerinin eğitim için kullandığı açık veri setleri hakkında bir karardır.
Common Crawl nedir ve CCBot ne yapar?
Common Crawl kendini, internetin bir kopyasını araştırmacılara, şirketlere ve bireylere ücretsiz sunmak isteyen 501(c)(3) kâr amacı gütmeyen bir kuruluş olarak tanımlar; CCBot da bu kopyayı toplayan bottur (Common Crawl SSS, okunma: 15 Eki 2026).
Veriler, onları kullanan geliştiriciler aracılığıyla yapay zekâ modellerine ulaşır. Örneğin OpenAI'ın GPT-3 makalesi, Common Crawl'un filtrelenmiş bir sürümünü o modelin eğitim karışımının en büyük parçası olarak gösterir (Language Models are Few-Shot Learners, 28 Mayıs 2020).
CCBot nasıl davranır?
Common Crawl botunun kurallarını belgeler:
- robots.txt'yi kontrol eder ve bir sayfayı yalnızca taramaya izin verildiğinde getirir.
- Crawl-delay'e uyar; Crawl-delay: 2 onu 2 saniyede bir isteğe sınırlar.
- Bağlantı keşfederken bağlantılardaki nofollow'a uyar.
- robots.txt'yi periyodik olarak yeniden kontrol eder, böylece yeni bir engel sonraki ziyaretlerde geçerli olur.
- Doğrulama için JSON olarak yayımlanan, ters DNS'li kendi IP aralıklarından çalışır.
CCBot nasıl engellenir ya da doğrulanır?
robots.txt'ye CCBot için bir grup ekleyin. Kullanıcı aracısı dizesi CCBot/2.0 (https://commoncrawl.org/faq/) şeklindedir ve Common Crawl, bir isteği doğrulamak için crawl.commoncrawl.org altında bir ters DNS ana makine adı verir (CCBot).
# İçeriği Common Crawl açık arşivinin dışında tutun
User-agent: CCBot
Disallow: /CCBot'u engellemek neyi değiştirir, gerçek bir örnekte?
Bugünkü yanıtları değil, gelecekteki açık veri setlerini değiştirir. Herkese açık Tesla örneğinde (4 Eki 2026) Claude, "What is Tesla?" ve "Is Tesla legit?" sorularını modelin zaten bildikleriyle, kaynak alıntılamadan yanıtladı: bu bilgi çok daha önce toplanmış eğitim verilerinden geliyordu.
Alıcı sorularında aynı motorlar, yanıt anında kendi arama botları ve getiricileriyle okunan 455 farklı site alıntıladı. CCBot kuralı bu güncel yolların hiçbirine dokunmaz; arama ve kullanıcı aracıları ise dokunur.
CCBot kuralınızı nasıl kontrol edersiniz?
Her ana makinedeki canlı robots.txt dosyasını bir CCBot grubu için inceleyin ve bu kararı yapay zekâ eğitim botlarına ilişkin kararla birlikte verin. Ücretsiz yapay zekâ botu kontrol aracı canlı robots.txt dosyanızı okur, Proofsource'taki bot erişimi ise onu zaman içinde takip eder.
CCBot hakkında sık sorulan sorular
CCBot'u engellemek sayfalarımı yapay zekâ yanıtlarından çıkarır mı?
Hayır. Arama yapan yapay zekâ yanıtları motorların kendi botlarını ve getiricilerini kullanır. CCBot yalnızca Common Crawl'un gelecekteki arşivini etkiler.
CCBot'u engellemek içeriğimi mevcut veri setlerinden kaldırır mı?
Common Crawl belgeleri, CCBot'un engellenmiş bir siteyi taramayı nasıl bıraktığını anlatır. Önceki arşivlerin değiştirildiğini söylemez; bu yüzden daha önce toplananın kaldığını varsayın.
CCBot bir yapay zekâ şirketinin botu mu?
Hayır. Common Crawl, arşivini herkes için yayımlayan kâr amacı gütmeyen bir kuruluştur. Yapay zekâ geliştiricileri bu verilerin birçok kullanıcısından yalnızca biridir.
CCBot Crawl-delay'e uyar mı?
Evet. Common Crawl, robots.txt'deki Crawl-delay parametresine uyduğunu söylüyor.
İlgili terimler
- GPTBot
GPTBot, OpenAI'ın üretken yapay zekâ temel modellerini eğitmekte kullanılabilecek içeriği toplayan OpenAI web botudur.
- ClaudeBot
ClaudeBot, Anthropic'in Claude modellerinin eğitimine katkı sağlayabilecek web içeriğini toplayan Anthropic web botudur.
- Applebot-Extended
Applebot-Extended, bir sitenin içeriğinin Apple'ın temel modellerini eğitmekte kullanılmasını engellemesini sağlayan bir robots.txt belirtecidir ve kendisi hiçbir şeyi taramaz.
- robots.txt
robots.txt, bir web sitesinin kök dizininde yer alan ve Robots Exclusion Protocol (RFC 9309) kapsamında botlara hangi yolları alabileceklerini söyleyen düz metin dosyasıdır.
Uygulamalı örnek: Tesla, herkese açık yapay zekâ yanıtları, 4 Eki 2026: Proofsource'un Tesla için yaptığı ilk tarama, 25 alıcı sorusu ve 5 marka sorusu, dört motorun her birinde soru başına bir yanıt. Tek bir markadan küçük bir örnek; bir kıyaslama değil, örnek olarak gösteriliyor.
Yapay zekânın sizi nerede atladığını görün, neyi düzelteceğinizi de.
Hangi alıcı sorularının markanızı andığını, yerinize kimin anıldığını ve neyi düzeltmeniz gerektiğini görün. 200 yanıt. 25 Prompts/soru. En iyi yapay zekâ motorları. 2 gün. Ücretsiz. Kart gerekmez.
Google AI OverviewsGoogle AI Mode
