Pemeriksa robots.txt untuk crawler AI dan Googlebot
Pengecek robots.txt gratis. Tempel robots.txt Anda dan kami membacanya untuk 16 crawler, yaitu bot AI dari OpenAI, Anthropic, dan Perplexity ditambah Googlebot dan Bingbot, lalu menunjukkan apakah masing-masing diizinkan, diblokir, atau tidak disebut, beserta baris yang menentukannya.
Enam belas crawler, AI dan pencarian, beserta fungsi masing-masing.
Hasil ditampilkan di sini. Tidak ada yang disimpan, dan tidak ada model AI yang terlibat: ini hanya pembacaan robots.txt biasa.
GPTBot · OpenAI · Pelatihan
Mengumpulkan halaman untuk melatih model OpenAI.
OAI-SearchBot · OpenAI · Cari
Mengindeks halaman agar ChatGPT search dapat mengutipnya.
ChatGPT-User · OpenAI · Pengambilan oleh pengguna
Membuka halaman ketika pengguna ChatGPT memintanya.
ClaudeBot · Anthropic · Pelatihan
Mengumpulkan halaman untuk melatih model Claude.
Claude-SearchBot · Anthropic · Cari
Mengindeks halaman agar Claude dapat mengutipnya dalam jawaban pencarian.
Claude-User · Anthropic · Pengambilan oleh pengguna
Membuka halaman ketika pengguna Claude memintanya.
anthropic-ai · Anthropic · Pelatihan
Token Anthropic lama yang masih disebut di banyak file robots.txt.
PerplexityBot · Perplexity · Cari
Mengindeks halaman agar Perplexity dapat mengutipnya dalam jawaban.
Perplexity-User · Perplexity · Pengambilan oleh pengguna
Membuka halaman ketika pengguna Perplexity memintanya.
Google-Extended · Google · Pelatihan
Menentukan apakah Gemini boleh berlatih dengan halaman yang di-crawl Googlebot. Search tidak terpengaruh.
Googlebot · Google · Cari
Google Penelusuran, sumber yang digunakan AI Overviews dan AI Mode.
Bingbot · Microsoft · Cari
Pencarian Bing, indeks yang menjadi sumber jawaban Copilot.
Applebot-Extended · Apple · Pelatihan
Menentukan apakah Apple boleh melatih modelnya dengan halaman yang di-crawl Applebot.
CCBot · Common Crawl · Pelatihan
Membangun dataset terbuka Common Crawl yang dipakai banyak model untuk pelatihan.
Meta-ExternalAgent · Meta · Pelatihan
Mengumpulkan halaman untuk melatih model Meta AI.
Bytespider · ByteDance · Pelatihan
Mengumpulkan halaman untuk melatih model ByteDance.
Aturan mengikuti RFC 9309: crawler mematuhi grup yang menyebut namanya, jika tidak ada maka grup *; aturan yang cocok paling panjang yang menang, dan Allow menang jika seri. Putusannya berlaku untuk halaman beranda. Crawler pelatihan memasok model masa depan; crawler pencarian menentukan apakah jawaban AI bisa mengutip Anda hari ini; pengambilan oleh pengguna terjadi saat seseorang meminta asisten membuka halaman Anda.
robots.txt hanyalah separuh dari akses. Pengaturan bot di CDN masih bisa menolak crawler yang diizinkan robots.txt, dan pengecekan ini tidak bisa melihatnya; Akses crawler di Proofsource meminta halaman Anda sebagai masing-masing crawler untuk mengetahuinya. Baca mengapa memblokir GPTBot tidak menghapus Anda dari ChatGPT, periksa file Anda dengan validator llms.txt, atau mulai dengan panduan visibilitas AI.
Arti jawaban-jawabannya.
Apakah saya harus memblokir crawler pelatihan?
Itu keputusan bisnis. Memblokir GPTBot atau ClaudeBot menjauhkan halaman Anda dari set pelatihan masa depan, tetapi tidak menghentikan ChatGPT atau Claude mengutip Anda melalui crawler pencarian mereka. Memblokir OAI-SearchBot, Claude-SearchBot, atau PerplexityBot memang mengeluarkan Anda dari jawaban tersebut.
Mengapa crawler menunjukkan tidak disebut?
robots.txt Anda tidak punya grup untuknya, jadi ia mengikuti grup *. Jika grup * juga tidak ada, tidak ada yang membatasinya.
Apakah robots.txt menghentikan setiap bot?
Tidak. Itu adalah permintaan yang menurut perusahaan AI besar mereka patuhi. File itu tidak memblokir crawler yang mengabaikannya; aturan firewall yang melakukannya.
Bisa di-crawl adalah langkah pertama.
Proofsource menunjukkan apakah ChatGPT, Perplexity, Claude, dan Google benar-benar menyebut Anda, pesaing mana yang disebut sebagai gantinya, dan apa yang perlu diperbaiki.