robots.txt nedir?
robots.txt, bir web sitesinin kök dizininde yer alan ve Robots Exclusion Protocol (RFC 9309) kapsamında botlara hangi yolları alabileceklerini söyleyen düz metin dosyasıdır. robots.txt, bir sitenin botlar üzerindeki en eski kontrolüdür ve yapay zekâ çağında her zamankinden fazla kararı taşır: eğitim, arama dizinleme ve kullanıcının tetiklediği getirmelerin her birinin kendi botu vardır ve birine yazılan kural diğerleri hakkında hiçbir şey söylemez.
robots.txt nasıl çalışır?
Gruplardan oluşur: her grup bir veya daha fazla user-agent token'ı belirtir ve Allow ile Disallow yollarını listeler. Kurallar, botların izlediği ayrıntıları belirleyen RFC 9309'da (Koster, Illyes, Zeller ve Sassman, Eylül 2022) Robots Exclusion Protocol olarak standartlaştırılmıştır (RFC 9309, okunma tarihi 15 Eki 2026):
- Dosyanın adı küçük harflerle robots.txt'dir, host'un en üst düzeyinde durur ve UTF-8 düz metin olarak sunulur.
- Kurallar çeliştiğinde en belirgin eşleşme kazanır: en çok sekizliye (octet) sahip olan.
- Botlar dosyanın en az 500 kibibaytını işlemelidir ve dosyaya ulaşılamadığı durumlar dışında önbellekteki bir kopyayı 24 saatten uzun kullanmamalıdır.
- 4xx yanıtı botun her şeyi getirmesine izin verir; 5xx yanıtı ise her şeyin engellenmiş olduğunu varsaymak zorunda olduğu anlamına gelir.
- Kurallar bir erişim yetkilendirmesi değildir: bir ricadır ve listelenen bir yol herkese açık olarak görünür.
Yapay zekâ botları için robots.txt kuralları nasıl yazılır?
Her botu token'ıyla adlandırın ve her işi ayrı ayrı karara bağlayın. Yaygın tutum, içeriği eğitimin dışında tutarken yapay zekâ aramasında bulunabilir kalmaktır: arama ve kullanıcı getirme ajanlarına izin verin, karşı çıktığınız eğitim botlarını engelleyin.
Her host'un kendi dosyası vardır, yani docs.example.com kendi kurallarına ihtiyaç duyar; Anthropic site sahiplerinden kurallarını kapsanmasını istedikleri her alt alan adına eklemelerini ister (Anthropic, 7 Nisan 2026).
# Yapay zekâ aramasında ve kullanıcı getirmelerinde bulunabilir
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Model eğitiminin dışında tutulur
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /Hangi robots.txt hataları sizi yapay zekâ yanıtlarından gizler?
Pahalıya patlayanlar genellikle kazara olur:
- Eğitimi engellemek isterken arama ajanlarını (OAI-SearchBot, Claude-SearchBot, PerplexityBot) engellemek.
- User-agent: * altında, yapay zekâ arama botlarını da yakalayan genel bir kural.
- Yapay zekâ botlarını robots.txt'niz daha okunmadan engelleyen bir CDN veya güvenlik ayarı.
- Kuralların www'de olup motorların en çok alıntılamak istediği docs veya yardım alt alan adında olmaması.
- Önemli sayfalarda snippet kontrolleri: Google, bir sayfanın AI Overviews veya AI Mode'da görünmesi için snippet ile gösterilmeye uygun olması gerektiğini söyler (Google Search Central).
Gerçek bir örnekte robots.txt neye karar verir?
Sayfalarınızın alıntılar için yarışıp yarışamayacağına karar verir. Herkese açık Tesla örneğinde (4 Eki 2026), 25 alıcı sorusunda Perplexity 375, Claude 351 alıntı verdi; tesla.com bunların 3'ünü ve 1'ini aldı.
robots.txt'si bu motorların arama ajanlarını engelleyen bir site bundan bile vazgeçer. Onlara izin vermek tek başına alıntı kazandırmaz; sayfalarınızı yarışa sokar.
robots.txt'nizi yapay zekâ botları için nasıl kontrol edersiniz?
Canlı dosyayı her host için herkese açık internetten getirin ve içinde her token'ı adıyla arayın. Ücretsiz yapay zekâ botu denetleyicisi canlı robots.txt'nizi okur ve hangi yapay zekâ botlarına izin verdiğini veya hangilerini engellediğini raporlar; Proofsource'taki Bot erişimi ise bunu CDN katmanı ve işlenmiş metinle birlikte kontrol eder.
robots.txt hakkında sık sorulan sorular
robots.txt, yapay zekânın içeriğimi kullanmasını engeller mi?
Yalnızca ona uyan botlar için ve yalnızca onu okudukları andan itibaren. Bir kilit değil, bir ricadır; Perplexity-User gibi kullanıcının tetiklediği getiriciler de genellikle onu yok saydıklarını belgeler.
GPTBot'u engellemek beni ChatGPT'den çıkarır mı?
Hayır. GPTBot, OpenAI'ın eğitim botudur. ChatGPT aramasını OAI-SearchBot belirler ve OpenAI her ayarın birbirinden bağımsız olduğunu söyler.
robots.txt değişikliklerinin uygulanması ne kadar sürer?
RFC 9309, botların önbellekteki bir kopyaya 24 saatten uzun güvenmemesi gerektiğini söyler; OpenAI de arama sistemlerinin bir değişikliği yansıtmasının yaklaşık 24 saat sürdüğünü belirtir.
llms.txt, robots.txt'nin yerini alır mı?
Hayır. robots.txt bot kurallarını belirler. llms.txt ise dil modelleri için önerilen bir okuma listesidir ve erişim konusunda söz hakkı yoktur.
İlgili terimler
- GPTBot
GPTBot, OpenAI'ın üretken yapay zekâ temel modellerini eğitmekte kullanılabilecek içeriği toplayan OpenAI web botudur.
- OAI-SearchBot
OAI-SearchBot, web sitelerini ChatGPT'nin arama özelliklerinde göstermek için kullanılan OpenAI botudur; onu engelleyen siteler ChatGPT arama yanıtlarında gösterilmez.
- ClaudeBot
ClaudeBot, Anthropic'in Claude modellerinin eğitimine katkı sağlayabilecek web içeriğini toplayan Anthropic web botudur.
- llms.txt
llms.txt, bir web sitesinin kök dizininde yer alan, dil modellerine sitenin ne olduğunu söyleyen ve okunmaya en değer sayfaları listeleyen önerilmiş bir markdown dosyasıdır.
Uygulamalı örnek: Tesla, herkese açık yapay zekâ yanıtları, 4 Eki 2026: Proofsource'un Tesla için yaptığı ilk tarama, 25 alıcı sorusu ve 5 marka sorusu, dört motorun her birinde soru başına bir yanıt. Tek bir markadan küçük bir örnek; bir kıyaslama değil, örnek olarak gösteriliyor.
Yapay zekânın sizi nerede atladığını görün, neyi düzelteceğinizi de.
Hangi alıcı sorularının markanızı andığını, yerinize kimin anıldığını ve neyi düzeltmeniz gerektiğini görün. 200 yanıt. 25 Prompts/soru. En iyi yapay zekâ motorları. 2 gün. Ücretsiz. Kart gerekmez.
Google AI OverviewsGoogle AI Mode
