Pastikan crawler AI dapat menjangkau situs Anda dan membaca isinya.
Akses Crawler di Proofsource mengecek dua hal yang menentukan apakah AI bisa belajar dari situs Anda: apakah GPTBot, ClaudeBot, PerplexityBot, dan crawler AI lain diizinkan masuk dan benar-benar dilayani, serta apakah halaman yang mereka terima berisi kata-kata Anda atau kerangka JavaScript yang kosong.
| Crawler | robots.txt | Respons server |
|---|---|---|
| GPTBot (pelatihan OpenAI) | Diizinkan | Ditolak (403) |
| OAI-SearchBot (pencarian ChatGPT) | Diizinkan | Dilayani (200) |
| ChatGPT-User (penjelajahan ChatGPT) | Diizinkan | Dilayani (200) |
| ClaudeBot (Anthropic) | Diizinkan | Ditolak (403) |
| PerplexityBot (Perplexity) | Diizinkan | Dilayani (200) |
Keputusan untuk setiap crawler AI di robots.txt Anda.
Proofsource membaca robots.txt Anda dan memberi putusan untuk sepuluh crawler AI. Mengetahui crawler mana melakukan apa itu penting: OAI-SearchBot dan PerplexityBot mengambil halaman untuk jawaban langsung, sedangkan GPTBot dan Google-Extended mengatur data pelatihan, jadi Anda bisa memblokir pelatihan tanpa hilang dari pencarian AI.
- GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, dan Bytespider
- Diizinkan atau tidak diizinkan, dan tidak ditentukan saat file tidak bisa dibaca, tidak pernah menebak
- Google-Extended adalah token robots.txt, bukan crawler terpisah, dan diperiksa sebagai token
| Token | Digunakan untuk | Putusan |
|---|---|---|
| GPTBot | Pelatihan model OpenAI | Tidak diizinkan |
| OAI-SearchBot | Hasil pencarian ChatGPT | Diizinkan |
| ClaudeBot | Crawling Anthropic | Diizinkan |
| PerplexityBot | Jawaban Perplexity | Diizinkan |
| Google-Extended | Pelatihan Gemini dan Vertex AI | Tidak diizinkan |
robots.txt adalah permintaan. Server yang memutuskan siapa yang boleh masuk.
Sebuah situs bisa mengizinkan GPTBot di robots.txt namun tetap membalasnya dengan 403 dari firewall bot CDN. Proofsource meminta halaman beranda Anda sebagai GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, dan PerplexityBot, lalu mencatat apa yang benar-benar dikembalikan server Anda. Pengecek robots.txt saja akan melaporkan semuanya diizinkan.
- Dilayani, ditolak, atau tidak jelas, per crawler
- Kode status yang diterima setiap crawler
- Menangkap blokir CDN dan firewall yang terlewat oleh pengecekan robots.txt
GET / sebagai GPTBot → 403 Permintaan Anda diblokir.
Penyebabnya adalah pengaturan bot di CDN, bukan robots.txt. Pemeriksa robots.txt saja akan melaporkan semua crawler diizinkan.
Lihat seberapa banyak halaman Anda yang benar-benar bisa dibaca bot.
Banyak crawler AI membaca HTML mentah dan tidak menjalankan JavaScript. Proofsource membandingkan kata-kata yang dirender browser dengan kata-kata di HTML mentah. Halaman yang dirender di sisi klien bisa menampilkan ribuan kata di browser dan hanya puluhan kata bagi bot. Jika konten Anda baru muncul setelah JavaScript berjalan, sebagian besar crawler AI tidak pernah melihatnya.
- Kata yang dirender dibandingkan kata di HTML mentah, per halaman
- Menandai halaman tanpa teks isi, tanpa H1, atau tanpa tautan yang bisa di-crawl
- Cek ulang setelah Anda menerapkan server rendering atau prerendering
| Cek | Hasil |
|---|---|
| Teks isi di HTML | Tidak ada |
| H1 di HTML | Tidak ada |
| Tautan yang bisa diikuti crawler | Tidak ditemukan |
Jika AI tidak bisa membaca Anda, AI tidak bisa merekomendasikan Anda.
Temukan blokir yang tak terlihat
Pengaturan bot CDN dapat menolak crawler AI tanpa ada seorang pun di tim Anda yang menyadarinya. Cek server menunjukkannya.
Buat kata-kata Anda terlihat
Halaman yang hanya tampil lewat JavaScript nyaris kosong bagi sebagian besar crawler AI. Pengecekan rendering mengukur seberapa kosong.
Blokir pelatihan, pertahankan pencarian
Keputusan per crawler menunjukkan persis sistem AI mana yang Anda izinkan masuk, sehingga memblokir pelatihan adalah pilihan, bukan kebetulan.
Pertanyaan yang diajukan pembeli
Bagaimana cara memeriksa apakah GPTBot bisa mengakses situs web saya?
Cek dua hal. Pertama, robots.txt: tidak boleh melarang GPTBot. Kedua, server: minta sebuah halaman dengan user agent GPTBot dan pastikan Anda mendapat 200, bukan 403 dari CDN atau firewall. Proofsource menjalankan kedua pengecekan dan juga memastikan halaman berisi teks yang dapat dibaca.
Apa perbedaan antara GPTBot dan OAI-SearchBot?
GPTBot mengumpulkan konten yang dapat digunakan untuk melatih model OpenAI. OAI-SearchBot mengambil halaman untuk hasil pencarian ChatGPT, dan ChatGPT-User mengambil halaman saat percakapan pengguna membutuhkannya. Memblokir GPTBot tidak menghapus Anda dari pencarian ChatGPT, tetapi memblokir OAI-SearchBot akan menghapusnya.
Apa itu Google-Extended?
Google-Extended adalah token robots.txt, bukan crawler terpisah. Melarangnya memberi tahu Google untuk tidak menggunakan konten Anda bagi pelatihan model Gemini dan Vertex AI. Ini tidak memengaruhi Google Penelusuran.
Bisakah crawler AI membaca situs web berbasis JavaScript?
Banyak yang tidak bisa. Beberapa crawler AI hanya membaca HTML mentah yang dikembalikan server dan tidak menjalankan JavaScript, sehingga halaman yang dirender di sisi klien bisa terlihat hampir kosong bagi mereka. Rendering sisi server atau prerendering menaruh teks di HTML agar bisa dibaca semua crawler.
Mengapa situs saya bisa memblokir crawler AI tanpa saya sadari?
Penyedia CDN dan keamanan menawarkan pengaturan pemblokiran bot, dan sebagian memblokir crawler pelatihan AI secara default atau dengan satu tombol. Blokir terjadi di server, sehingga robots.txt tetap menyatakan crawler diizinkan. Hanya permintaan yang dibuat sebagai crawler yang menunjukkannya.
Bisakah saya mencoba Proofsource secara gratis?
Ya. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. 25 pertanyaan pembeli di ChatGPT, Perplexity, Claude dan Google AI Overviews, hari ini dan besok. Tanpa kartu. Setelah pemindaian kedua, pemindaian berhenti dan jawaban Anda tetap ada di akun Anda.
Berapa biaya Proofsource?
Satu kartu harga untuk semua orang: paket mulai dari US$9 per bulan (5 pertanyaan di ChatGPT, setiap minggu). Setiap merek membayar biaya untuk setiap hari (US$28 per merek per bulan) atau setiap minggu (US$7), ditambah setiap pertanyaan di setiap mesin yang Anda pilih. Anggota tim tanpa batas di setiap paket. Tanpa biaya kelebihan pemakaian.
Bagian lain dari platform
Ask Proof
Asisten yang menjawab pertanyaan tentang visibilitas AI Anda dari data Anda sendiri, dan menunjukkan kueri di balik setiap angka.Jelajahi Ask Proof
Visibilitas AI
Tingkat sebutan, share of voice, dan posisi rata-rata di setiap mesin AI, dengan interval Wilson 95% pada setiap angka.Jelajahi Visibilitas AI
Prompts
Pertanyaan pembeli yang Anda lacak, dikelompokkan per topik, ditandai bermerek atau tanpa merek, diurutkan berdasarkan permintaan pencarian, dengan pencarian yang dijalankan setiap mesin.Jelajahi Prompts
Pastikan AI bisa membaca Anda.
Lihat apakah AI menyebut merek Anda, siapa yang disebut sebagai gantinya, dan apa yang perlu diperbaiki. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu · tanpa panggilan penjualan.
Google AI OverviewsGoogle AI Mode
