Kami memeriksa 199 situs di robots.txt dan di server
Bagaimana cara memeriksa crawler AI mana yang diblokir situs saya? Sebagian besar alat pemeriksa, termasuk alat gratis kami, membaca robots.txt lalu berhenti di situ. Standar di balik file itu, RFC 9309, terus terang soal batasnya: "Aturan ini bukan bentuk otorisasi akses." Sebuah aturan meminta crawler untuk tidak masuk. Apakah sebuah permintaan mendapat halamannya ditentukan oleh server, CDN, dan firewall Anda.
Proofsource mengaudit situs setiap merek yang dilacaknya. Kami mengambil audit terbaru setiap situs antara 5 Oktober dan 20 November 2026: 199 situs, tanpa domain milik kami sendiri dan domain uji. Setiap audit membaca robots.txt untuk setiap crawler AI, lalu meminta beranda satu kali per crawler dengan User-Agent resmi crawler tersebut. Audit mencatat apakah server menyajikan halaman atau menjawab dengan 401, 403, 429, atau tantangan bot.
Server menolak GPTBot di 32 situs; robots.txt memblokirnya di 12
Server menolak permintaan yang mengaku sebagai GPTBot di 32 dari 199 situs: 16,1% (11,6% hingga 21,8%). robots.txt melarang GPTBot di 12 situs (6,0%).
Di 21 dari 32 situs itu, robots.txt mengizinkan semua crawler AI yang kami periksa. Pemeriksaan file saja akan mengatakan kepada ke-21 situs itu bahwa mereka terbuka untuk AI.
Sekali terjadi sebaliknya. Satu situs melarang GPTBot di robots.txt, tetapi servernya tetap menyerahkan halaman. File itu hanya permintaan, ke dua arah.
Sebagian besar blokir server mengenai crawler pelatihan dan membiarkan pencarian
Di 20 situs, server menolak GPTBot tetapi menyajikan halaman untuk OAI-SearchBot dan ChatGPT-User, dan 15 di antaranya juga menolak ClaudeBot. Pembagian ini tampak disengaja. Dokumentasi crawler OpenAI memperlakukan crawler-crawlernya sebagai pengaturan terpisah: GPTBot mengumpulkan data pelatihan, OAI-SearchBot mencari halaman untuk ditampilkan di pencarian ChatGPT. Menolak yang pertama tidak mengeluarkan Anda dari yang kedua.
13 situs menolak crawler yang memasukkan halaman ke dalam jawaban
Untuk dikutip, crawler yang penting adalah agen pencarian dan agen pengguna. 13 situs (6,5%) menolak setidaknya satu dari OAI-SearchBot, ChatGPT-User, atau PerplexityBot. robots.txt hanya melarang mereka di satu dari 13 situs itu.
10 situs menolak semua crawler AI yang kami kirim. 7 dari 10 itu menjawab dengan tantangan bot Cloudflare, bukan halaman galat biasa. OpenAI menyatakan bahwa situs yang menolak OAI-SearchBot tidak akan ditampilkan dalam jawaban pencarian ChatGPT, dan meminta situs yang ingin muncul untuk mengizinkan rentang IP yang dipublikasikannya, selain namanya di robots.txt.
Sebagian blokir ini mungkin tidak pernah ditulis dengan tangan
Cloudflare menambahkan opsi sekali klik untuk memblokir crawler AI pada September 2024 dan menyebut lebih dari satu juta pelanggan telah mengaktifkannya. Sejak 1 Juli 2025, Cloudflare menanyai setiap domain baru saat pendaftaran apakah crawler AI diizinkan sama sekali. Pengaturan yang dipilih sekali di dasbor, atau oleh siapa pun yang menyiapkan akun, tidak akan terlihat di robots.txt. Jika sebuah crawler ditolak dan tidak ada orang di tim Anda yang ingat pernah memutuskannya, periksa di sana dulu.
Periksa keduanya dalam sepuluh menit
- Baca robots.txt untuk crawler jawaban lebih dulu: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Lalu putuskan secara terpisah soal crawler pelatihan, GPTBot dan ClaudeBot.
- Minta beranda Anda dengan curl, dengan User-Agent diisi nama setiap crawler. Jawaban 403, 429, atau halaman tantangan berarti server menolaknya, apa pun isi robots.txt.
- Buka pengaturan bot dan crawler AI di CDN Anda dan baca pengaturan untuk setiap crawler. Di Cloudflare, periksa kontrol crawler AI dan aturan apa pun yang memblokir bot AI.
- Jika firewall Anda hanya meloloskan bot terverifikasi, pastikan rentang IP yang dipublikasikan perusahaan AI ada di daftar izinnya, lalu cari jawaban 403 untuk crawler itu di log Anda.
Cara Proofsource memeriksanya
Setiap audit situs Proofsource membaca robots.txt untuk setiap crawler AI dan meminta beranda Anda sebagai masing-masing crawler. Jika robots.txt mengizinkan sebuah crawler tetapi server menolaknya, pemindaian pertama melaporkannya di baris tersendiri, lengkap dengan pengaturan yang perlu diubah.
Di mana temuan ini bisa keliru
Permintaan kami berasal dari server kami, bukan dari server OpenAI, Anthropic, atau Perplexity. Firewall yang memeriksa asal permintaan bisa menolak permintaan kami tetapi tetap melayani crawler yang asli. Ini paling berlaku untuk tantangan bot. Anggap penolakan sebagai alasan untuk membuka pengaturan CDN Anda, bukan bukti bahwa ChatGPT tidak bisa membaca situs Anda.
Satu permintaan per crawler, hanya ke beranda, pada satu waktu. 5 penolakan adalah batas laju 429, yang bisa berlalu. Halaman lain bisa punya aturan lain.
199 situs milik merek yang dilacak di Proofsource, bukan sampel acak dari web. Audit awal mengirim lima crawler dan audit berikutnya delapan, sehingga angka untuk Claude-SearchBot, Claude-User, dan Perplexity-User mencakup 189 situs. Kami tidak melihat log situs-situs itu, jadi kami tidak bisa mengatakan bagaimana kunjungan crawler asli dijawab.