Catatan lapangan4 menit baca

Robots.txt mengizinkan crawler AI di 21 dari 32 situs yang servernya justru menolak mereka

Pemeriksa robots.txt membaca file itu lalu berhenti. Server, CDN, dan firewall yang memutuskan apakah crawler benar-benar mendapat halamannya, dan di sampel kami mereka menolak crawler hampir tiga kali lebih sering daripada robots.txt.

Kami memeriksa 199 situs di robots.txt dan di server

Bagaimana cara memeriksa crawler AI mana yang diblokir situs saya? Sebagian besar alat pemeriksa, termasuk alat gratis kami, membaca robots.txt lalu berhenti di situ. Standar di balik file itu, RFC 9309, terus terang soal batasnya: "Aturan ini bukan bentuk otorisasi akses." Sebuah aturan meminta crawler untuk tidak masuk. Apakah sebuah permintaan mendapat halamannya ditentukan oleh server, CDN, dan firewall Anda.

Proofsource mengaudit situs setiap merek yang dilacaknya. Kami mengambil audit terbaru setiap situs antara 5 Oktober dan 20 November 2026: 199 situs, tanpa domain milik kami sendiri dan domain uji. Setiap audit membaca robots.txt untuk setiap crawler AI, lalu meminta beranda satu kali per crawler dengan User-Agent resmi crawler tersebut. Audit mencatat apakah server menyajikan halaman atau menjawab dengan 401, 403, 429, atau tantangan bot.

Server menolak GPTBot di 32 situs; robots.txt memblokirnya di 12

Server menolak permintaan yang mengaku sebagai GPTBot di 32 dari 199 situs: 16,1% (11,6% hingga 21,8%). robots.txt melarang GPTBot di 12 situs (6,0%).

Di 21 dari 32 situs itu, robots.txt mengizinkan semua crawler AI yang kami periksa. Pemeriksaan file saja akan mengatakan kepada ke-21 situs itu bahwa mereka terbuka untuk AI.

Sekali terjadi sebaliknya. Satu situs melarang GPTBot di robots.txt, tetapi servernya tetap menyerahkan halaman. File itu hanya permintaan, ke dua arah.

Sebagian besar blokir server mengenai crawler pelatihan dan membiarkan pencarian

Di 20 situs, server menolak GPTBot tetapi menyajikan halaman untuk OAI-SearchBot dan ChatGPT-User, dan 15 di antaranya juga menolak ClaudeBot. Pembagian ini tampak disengaja. Dokumentasi crawler OpenAI memperlakukan crawler-crawlernya sebagai pengaturan terpisah: GPTBot mengumpulkan data pelatihan, OAI-SearchBot mencari halaman untuk ditampilkan di pencarian ChatGPT. Menolak yang pertama tidak mengeluarkan Anda dari yang kedua.

13 situs menolak crawler yang memasukkan halaman ke dalam jawaban

Untuk dikutip, crawler yang penting adalah agen pencarian dan agen pengguna. 13 situs (6,5%) menolak setidaknya satu dari OAI-SearchBot, ChatGPT-User, atau PerplexityBot. robots.txt hanya melarang mereka di satu dari 13 situs itu.

10 situs menolak semua crawler AI yang kami kirim. 7 dari 10 itu menjawab dengan tantangan bot Cloudflare, bukan halaman galat biasa. OpenAI menyatakan bahwa situs yang menolak OAI-SearchBot tidak akan ditampilkan dalam jawaban pencarian ChatGPT, dan meminta situs yang ingin muncul untuk mengizinkan rentang IP yang dipublikasikannya, selain namanya di robots.txt.

Sebagian blokir ini mungkin tidak pernah ditulis dengan tangan

Cloudflare menambahkan opsi sekali klik untuk memblokir crawler AI pada September 2024 dan menyebut lebih dari satu juta pelanggan telah mengaktifkannya. Sejak 1 Juli 2025, Cloudflare menanyai setiap domain baru saat pendaftaran apakah crawler AI diizinkan sama sekali. Pengaturan yang dipilih sekali di dasbor, atau oleh siapa pun yang menyiapkan akun, tidak akan terlihat di robots.txt. Jika sebuah crawler ditolak dan tidak ada orang di tim Anda yang ingat pernah memutuskannya, periksa di sana dulu.

Periksa keduanya dalam sepuluh menit

  • Baca robots.txt untuk crawler jawaban lebih dulu: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Lalu putuskan secara terpisah soal crawler pelatihan, GPTBot dan ClaudeBot.
  • Minta beranda Anda dengan curl, dengan User-Agent diisi nama setiap crawler. Jawaban 403, 429, atau halaman tantangan berarti server menolaknya, apa pun isi robots.txt.
  • Buka pengaturan bot dan crawler AI di CDN Anda dan baca pengaturan untuk setiap crawler. Di Cloudflare, periksa kontrol crawler AI dan aturan apa pun yang memblokir bot AI.
  • Jika firewall Anda hanya meloloskan bot terverifikasi, pastikan rentang IP yang dipublikasikan perusahaan AI ada di daftar izinnya, lalu cari jawaban 403 untuk crawler itu di log Anda.

Cara Proofsource memeriksanya

Setiap audit situs Proofsource membaca robots.txt untuk setiap crawler AI dan meminta beranda Anda sebagai masing-masing crawler. Jika robots.txt mengizinkan sebuah crawler tetapi server menolaknya, pemindaian pertama melaporkannya di baris tersendiri, lengkap dengan pengaturan yang perlu diubah.

Di mana temuan ini bisa keliru

Permintaan kami berasal dari server kami, bukan dari server OpenAI, Anthropic, atau Perplexity. Firewall yang memeriksa asal permintaan bisa menolak permintaan kami tetapi tetap melayani crawler yang asli. Ini paling berlaku untuk tantangan bot. Anggap penolakan sebagai alasan untuk membuka pengaturan CDN Anda, bukan bukti bahwa ChatGPT tidak bisa membaca situs Anda.

Satu permintaan per crawler, hanya ke beranda, pada satu waktu. 5 penolakan adalah batas laju 429, yang bisa berlalu. Halaman lain bisa punya aturan lain.

199 situs milik merek yang dilacak di Proofsource, bukan sampel acak dari web. Audit awal mengirim lima crawler dan audit berikutnya delapan, sehingga angka untuk Claude-SearchBot, Claude-User, dan Perplexity-User mencakup 189 situs. Kami tidak melihat log situs-situs itu, jadi kami tidak bisa mengatakan bagaimana kunjungan crawler asli dijawab.

Dari mana angka-angka eksternal berasal

  1. RFC 9309: Robots Exclusion Protocol · IETF
  2. Overview of OpenAI Crawlers · OpenAI
  3. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large · Cloudflare
  4. Pengecek robots.txt gratis untuk crawler AI seperti GPTBot · Proofsource
Semua catatan

Pertanyaan

Apakah robots.txt memblokir crawler AI?

File itu meminta crawler untuk tidak masuk, dan perusahaan AI besar menyatakan mematuhinya, tetapi file itu tidak menghentikan permintaan. Dalam audit kami atas 199 situs, satu situs melarang GPTBot di robots.txt dan servernya tetap menyajikan halaman.

Bagaimana saya tahu apakah Cloudflare memblokir ChatGPT?

Minta beranda Anda dengan User-Agent diisi OAI-SearchBot dan perhatikan apakah muncul 403 atau halaman tantangan, lalu baca pengaturan crawler AI di Cloudflare. Di sampel kami, 7 dari 10 situs yang menolak semua crawler AI melakukannya dengan tantangan bot Cloudflare.

Jika saya memblokir GPTBot, apakah saya akan hilang dari ChatGPT?

Tidak dari pencarian ChatGPT. OpenAI mendokumentasikan GPTBot (pelatihan) dan OAI-SearchBot (pencarian) sebagai pengaturan terpisah. Di 20 dari 199 situs yang kami periksa, server menolak GPTBot dan tetap melayani OAI-SearchBot.

Angka Anda sendiri mengalahkan artikel terbaik kami.

Daftar pendek di kategori Anda sedang ditulis saat ini juga, entah ada yang membaca halaman ini atau tidak. Uji coba gratis, 25 pertanyaan di empat mesin hari ini, memberi tahu Anda apakah nama Anda ada di dalamnya.

100 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. Gratis.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI