Apa itu ClaudeBot?
ClaudeBot adalah crawler web Anthropic yang mengumpulkan konten web yang dapat berkontribusi pada pelatihan model Claude milik Anthropic. Anthropic menjalankan tiga bot dengan tugas terpisah: ClaudeBot untuk pelatihan, Claude-SearchBot untuk pengindeksan pencarian, dan Claude-User untuk mengambil halaman saat seseorang mengajukan pertanyaan ke Claude. Masing-masing disebut sendiri di robots.txt, jadi aturan untuk ClaudeBot tidak berlaku untuk dua lainnya.
Apa user agent ClaudeBot?
ClaudeBot mengidentifikasi dirinya dengan token produk ClaudeBot, dan token itulah yang harus disebut oleh grup di robots.txt. Artikel bantuan Anthropic menyebut tiga botnya (ClaudeBot, Claude-User, dan Claude-SearchBot) tetapi tidak mencantumkan string user agent lengkap, jadi cocokkan token itu di log Anda, bukan string yang disalin (artikel crawler Anthropic, dibaca 15 Okt 2026).
Nama di baris log bisa dipalsukan. Untuk memastikan sebuah permintaan benar-benar dari Anthropic, cek IP sumbernya terhadap daftar yang dipublikasikan Anthropic di claude.com/crawling/bots.json; menurut Anthropic, crawler dengan IP sumber dalam daftar itu berasal dari Anthropic.
Beberapa file robots.txt masih menyebut anthropic-ai atau Claude-Web, token lama. Artikel Anthropic saat ini tidak menyebut keduanya, jadi aturan yang hanya menyebut token lama itu tidak terdokumentasi mencakup ClaudeBot.
Apa yang dikumpulkan ClaudeBot, dan untuk apa?
ClaudeBot mengumpulkan konten web publik yang bisa berkontribusi pada pelatihan model AI generatif Anthropic, yang menurut Anthropic membantu kegunaan dan keamanan model. Melarangnya memberi sinyal bahwa konten situs Anda di masa depan harus dikecualikan dari dataset pelatihan Anthropic.
Anthropic juga menjelaskan cara bot-botnya berperilaku:
- Mematuhi arahan "do not crawl" di robots.txt.
- Tidak mencoba melewati CAPTCHA atau langkah anti-pengelabuan lainnya.
- Mendukung aturan Crawl-delay yang tidak standar, sehingga Anda bisa memperlambat ClaudeBot tanpa memblokirnya.
- Aturan berlaku untuk satu host, jadi situs dengan subdomain perlu aturan di robots.txt setiap subdomain.
Apa bedanya ClaudeBot dengan Claude-User dan Claude-SearchBot?
ClaudeBot berkaitan dengan pelatihan; Claude-SearchBot dan Claude-User berkaitan dengan ditemukan dan dibaca saat orang bertanya sesuatu ke Claude. Anthropic memperingatkan bahwa menonaktifkan salah satu dari dua yang terakhir bisa mengurangi visibilitas situs Anda di jawaban pencarian Claude.
| Bot | Tugas | Jika Anda melarangnya |
|---|---|---|
| ClaudeBot | Mengumpulkan konten web yang bisa berkontribusi pada pelatihan model | Memberi sinyal bahwa konten Anda di masa depan harus dikecualikan dari pelatihan |
| Claude-SearchBot | Membaca web untuk meningkatkan kualitas dan relevansi hasil pencarian Claude | Menghentikan pengindeksan untuk pencarian, yang bisa mengurangi visibilitas dan akurasi Anda di jawaban pencarian Claude |
| Claude-User | Mengambil halaman saat seseorang mengajukan pertanyaan ke Claude yang membutuhkannya | Claude tidak bisa mengambil halaman Anda untuk pertanyaan itu, yang bisa mengurangi visibilitas Anda di pencarian yang diarahkan pengguna |
Bagaimana cara memblokir atau mengizinkan ClaudeBot di robots.txt?
Tambahkan grup yang menyebut ClaudeBot ke file robots.txt di root setiap host. Contoh dari Anthropic sendiri memblokir ClaudeBot dari seluruh situs dengan satu baris Disallow: / di bawah User-agent: ClaudeBot.
Pilihan umum adalah menjaga konten tetap di luar pelatihan sambil tetap bisa ditemukan di jawaban Claude: blokir ClaudeBot, izinkan dua lainnya. Crawl-delay adalah cara terdokumentasi dari Anthropic untuk memperlambat ClaudeBot alih-alih memblokirnya. Jangan mengandalkan pemblokiran alamat IP Anthropic sebagai gantinya; menurut Anthropic itu mungkin tidak berfungsi dengan andal, karena menghalangi bot-botnya membaca robots.txt Anda. Lalu pastikan file yang aktif dengan pengecek crawler AI gratis.
# Jaga konten di luar pelatihan Anthropic
User-agent: ClaudeBot
Disallow: /
# Tetap bisa ditemukan di jawaban Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Atau, alih-alih memblokir ClaudeBot, perlambat saja:
# User-agent: ClaudeBot
# Crawl-delay: 1Apa artinya bagi peluang dikutip oleh Claude?
Dikutip oleh Claude bergantung pada Claude-SearchBot dan Claude-User yang menjangkau halaman Anda; ClaudeBot adalah keputusan terpisah tentang pelatihan. Memblokir ketiganya berarti melepaskan keduanya.
Kutipan Claude tersebar tipis bahkan untuk merek terkenal. Dalam contoh publik Tesla (4 Okt 2026), Claude menyebut Tesla di 11 dari 25 jawaban atas pertanyaan pembeli dan memberikan 351 kutipan di jawaban-jawaban itu, hanya satu ke tesla.com. Situs yang paling banyak dikutipnya adalah en.wikipedia.org, 16 kali. Itulah ruang kutipan yang ditentukan oleh aturan crawler pencarian, apakah Anda bisa ikut bersaing, dan ruang itu diukur dengan menanyakan pertanyaannya, bukan dengan membaca robots.txt. Lihat cara Claude memilih merek yang disebutnya.
Pertanyaan umum tentang ClaudeBot
Apakah memblokir ClaudeBot menghapus situs saya dari Claude?
Menurut deskripsi Anthropic, tidak. ClaudeBot adalah crawler pelatihan. Pengindeksan pencarian dilakukan Claude-SearchBot dan pengambilan halaman untuk pertanyaan pengguna dilakukan Claude-User, dan menurut Anthropic memblokir dua itulah yang bisa mengurangi visibilitas Anda di jawaban pencarian Claude.
Apakah ClaudeBot mematuhi robots.txt?
Anthropic mengatakan bot-botnya mematuhi arahan robots.txt, tidak melewati CAPTCHA, dan mendukung Crawl-delay. Taruh aturannya di robots.txt setiap subdomain yang ingin Anda cakup.
Haruskah saya memblokir ClaudeBot berdasarkan alamat IP?
Anthropic menyarankan untuk tidak mengandalkannya: memblokir alamat IP-nya mungkin tidak berfungsi dengan benar atau konsisten, dan menghentikan bot membaca robots.txt Anda. Gunakan robots.txt untuk aturannya, dan daftar IP yang dipublikasikan Anthropic hanya untuk memastikan permintaan itu asli.
Apakah ClaudeBot sama dengan anthropic-ai?
Tidak. anthropic-ai dan Claude-Web adalah token lama yang masih ada di beberapa file robots.txt, dan artikel Anthropic saat ini tidak menyebutnya. Artikel itu hanya menyebut ClaudeBot, Claude-SearchBot, dan Claude-User, jadi tulis aturan Anda untuk ketiganya.
Istilah terkait
- GPTBot
GPTBot adalah crawler web OpenAI untuk mengumpulkan konten yang dapat dipakai melatih model fondasi AI generatif OpenAI.
- OAI-SearchBot
OAI-SearchBot adalah crawler OpenAI untuk menampilkan situs web di fitur pencarian ChatGPT, dan situs yang menolaknya tidak ditampilkan dalam jawaban pencarian ChatGPT.
- PerplexityBot
PerplexityBot adalah crawler Perplexity yang mengindeks halaman web agar dapat ditampilkan dan ditautkan di hasil pencarian Perplexity.
Contoh kasus: Tesla, jawaban AI publik, 4 Okt 2026: pemindaian pertama Proofsource untuk Tesla, 25 pertanyaan pembeli dan 5 pertanyaan merek, satu jawaban per pertanyaan di masing-masing dari empat mesin. Sampel kecil dari satu merek, ditampilkan sebagai contoh, bukan tolok ukur.
Lihat di mana AI melewatkan Anda, dan apa yang perlu diperbaiki.
Lihat pertanyaan pembeli mana yang menyebut merek Anda, siapa yang disebut sebagai gantinya, dan apa yang perlu diperbaiki. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu.
Google AI OverviewsGoogle AI Mode
