Apa itu Claude-SearchBot?
Claude-SearchBot adalah crawler Anthropic yang membaca web untuk meningkatkan kualitas dan relevansi hasil pencarian Claude. Claude-SearchBot adalah crawler di balik pencarian Claude: ia membaca web lebih dulu agar Claude punya hasil yang baik untuk diandalkan. Memblokirnya adalah keputusan soal pencarian, bukan soal pelatihan.
Apa yang dilakukan Claude-SearchBot?
Anthropic menyatakan Claude-SearchBot menjelajahi web untuk meningkatkan kualitas hasil pencarian bagi pengguna, menganalisis konten online untuk meningkatkan relevansi dan akurasi respons pencarian. Menonaktifkannya mencegah sistem Anthropic mengindeks konten Anda untuk optimasi pencarian, yang menurut Anthropic dapat mengurangi visibilitas dan akurasi situs Anda di hasil pencarian pengguna (Anthropic, 7 April 2026).
Bagaimana perilaku Claude-SearchBot?
Anthropic mendokumentasikan aturan yang sama untuk ketiga botnya:
- Mereka mematuhi direktif robots.txt.
- Mereka tidak mencoba melewati CAPTCHA atau langkah anti-penghindaran lainnya.
- Mereka mendukung aturan Crawl-delay yang tidak standar, untuk memperlambat bot tanpa memblokirnya.
- Sebuah aturan berlaku per host, jadi setiap subdomain membutuhkan aturannya sendiri.
- Memblokir berdasarkan alamat IP mungkin tidak andal, karena dapat menghentikan bot membaca robots.txt.
Bagaimana mengizinkan Claude-SearchBot sambil memblokir pelatihan?
Beri setiap bot grupnya sendiri. Ini pilihan umum bagi merek yang ingin dikutip Claude tanpa menyumbang data pelatihan. Pastikan file yang tayang dengan pemeriksa crawler AI gratis.
# Tetap bisa ditemukan di pencarian Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Jauhkan konten dari pelatihan Anthropic
User-agent: ClaudeBot
Disallow: /Apa yang dipertaruhkan, dalam contoh nyata?
Dalam contoh Tesla publik (4 Okt 2026), Claude mengutip 351 halaman di 25 pertanyaan pembeli, lebih banyak daripada gabungan ChatGPT dan Google AI Overviews, dan menyebut Tesla di 11 jawaban.
Daftar sumber yang panjang berarti banyak slot kutipan, dan Claude-SearchBot menentukan apakah halaman Anda diindeks untuknya. tesla.com mendapat satu dari 351 itu; sebagian besar mengarah ke situs referensi dan pihak ketiga.
Bagaimana melihat Claude-SearchBot di situs Anda?
Proofsource menghitung permintaan crawler AI dari zona Cloudflare atau log akses Anda setiap hari, diverifikasi dengan daftar IP yang dipublikasikan Anthropic, dan menunjukkan halaman mana yang di-crawl lalu dikutip dalam jawaban Claude. Lihat AI Traffic dan Crawler access.
Pertanyaan umum tentang Claude-SearchBot
Apakah Claude-SearchBot digunakan untuk pelatihan?
Anthropic menggambarkannya sebagai pengindeksan konten untuk meningkatkan hasil pencarian. Pelatihan adalah tugas ClaudeBot, dan setiap bot punya aturan robots.txt sendiri.
Apa yang terjadi jika saya memblokir Claude-SearchBot?
Anthropic menyatakan konten Anda tidak lagi diindeks untuk optimasi pencarian, yang dapat mengurangi visibilitas dan akurasi Anda di jawaban pencarian Claude.
Bisakah saya memperlambat Claude-SearchBot alih-alih memblokirnya?
Bisa. Anthropic mendukung aturan Crawl-delay yang tidak standar untuk bot-botnya.
Bagaimana saya tahu sebuah kunjungan benar-benar dari Claude-SearchBot?
Cocokkan IP sumbernya dengan daftar yang dipublikasikan Anthropic di claude.com/crawling/bots.json; Anthropic menyatakan IP yang ada di daftar itu berasal dari Anthropic.
Istilah terkait
- ClaudeBot
ClaudeBot adalah crawler web Anthropic yang mengumpulkan konten web yang dapat berkontribusi pada pelatihan model Claude milik Anthropic.
- Claude-User
Claude-User adalah agen yang dipakai Anthropic untuk mengambil halaman web saat seseorang mengajukan pertanyaan kepada Claude yang membutuhkannya.
- robots.txt
robots.txt adalah file teks biasa di root situs web yang memberi tahu crawler jalur mana yang boleh diambil, berdasarkan Robots Exclusion Protocol (RFC 9309).
- PerplexityBot
PerplexityBot adalah crawler Perplexity yang mengindeks halaman web agar dapat ditampilkan dan ditautkan di hasil pencarian Perplexity.
Contoh kasus: Tesla, jawaban AI publik, 4 Okt 2026: pemindaian pertama Proofsource untuk Tesla, 25 pertanyaan pembeli dan 5 pertanyaan merek, satu jawaban per pertanyaan di masing-masing dari empat mesin. Sampel kecil dari satu merek, ditampilkan sebagai contoh, bukan tolok ukur.
Lihat di mana AI melewatkan Anda, dan apa yang perlu diperbaiki.
Lihat pertanyaan pembeli mana yang menyebut merek Anda, siapa yang disebut sebagai gantinya, dan apa yang perlu diperbaiki. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu.
Google AI OverviewsGoogle AI Mode
