OpenAI mengirim empat agen, dan hanya satu yang menentukan pencarian ChatGPT
Ada potongan robots.txt yang beredar yang melarang GPTBot. Banyak orang menempelnya dan merasa sudah menyelesaikan soal ChatGPT. Mereka memang menyelesaikan sebuah soal. Hanya saja bukan soal itu.
OpenAI mendokumentasikan empat user agent, masing-masing dengan tugasnya sendiri. GPTBot meng-crawl konten yang mungkin digunakan untuk melatih model dasar. OAI-SearchBot adalah yang digunakan untuk menampilkan situs di fitur pencarian ChatGPT, dan halaman OpenAI sendiri menyatakan situs yang memilih keluar darinya tidak akan ditampilkan di jawaban pencarian ChatGPT, meski masih bisa muncul sebagai tautan navigasi. ChatGPT-User mengambil halaman ketika seseorang menanyakan sesuatu ke ChatGPT, dan karena dimulai oleh pengguna, OpenAI menyatakan aturan robots.txt mungkin tidak berlaku. OAI-AdsBot hanya mengunjungi halaman yang dikirim sebagai iklan.
OpenAI tegas bahwa setiap pengaturan independen. Anda bisa mengizinkan OAI-SearchBot dan melarang GPTBot, yang berarti ya untuk bisa ditemukan dan tidak untuk menjadi data pelatihan. Itu posisi yang masuk akal bagi sebagian besar perusahaan, dan hampir tidak ada file robots.txt yang kami baca yang benar-benar menyatakannya. Beri waktu sekitar sehari ke arah mana pun: OpenAI menyatakan butuh kira-kira 24 jam sejak perubahan robots.txt hingga sistemnya menyesuaikan.
Anthropic membaginya menjadi tiga, dan Perplexity mengabaikan Anda ketika seseorang bertanya
Anthropic menjalankan tiga. ClaudeBot mengumpulkan konten web yang mungkin masuk ke pelatihan. Claude-SearchBot mengindeks konten untuk meningkatkan hasil pencarian. Claude-User mengambil halaman ketika seseorang mengajukan pertanyaan ke Claude. Halaman bantuan Anthropic menjelaskan konsekuensi masing-masing: matikan Claude-SearchBot dan konten Anda berhenti diindeks untuk pencarian, matikan Claude-User dan Claude berhenti mengambil halaman Anda sebagai respons atas pertanyaan pengguna.
Perplexity menjalankan dua. PerplexityBot ada untuk menampilkan dan menautkan situs di hasil Perplexity dan sama sekali tidak digunakan untuk mengumpulkan data pelatihan. Perplexity-User mengunjungi halaman ketika seseorang mengajukan pertanyaan, dan dokumentasi Perplexity mengatakan hal yang biasanya tidak diucapkan: karena pengguna yang meminta pengambilan itu, fetcher tersebut umumnya mengabaikan robots.txt.
Jumlahkan semuanya dan aturan blokir semua bot AI mendarat di tempat yang aneh. Dari sembilan agen di atas, sebagian besar yang ingin dihentikan orang justru yang menaruh tautan Anda di depan pembeli, dan salah satunya memang tidak mendengarkan robots.txt.
Google-Extended tidak ada hubungannya dengan AI Overviews
Inilah yang paling merugikan orang. Google-Extended adalah token robots.txt, tanpa string user agent sendiri, yang mengendalikan apakah konten yang di-crawl melatih model Gemini mendatang dan menjadi grounding untuk Gemini Apps. Dokumentasi crawler Google menyatakan dengan tegas bahwa token ini tidak memengaruhi penyertaan situs di Google Search dan tidak digunakan sebagai sinyal peringkat. Memblokirnya tidak berpengaruh apa pun pada AI Overviews.
AI Overviews dan AI Mode adalah Search. Google mengatakannya dalam panduannya sendiri untuk pemilik situs: AI dibangun ke dalam Search, dan arahan robots.txt untuk Googlebot adalah kendalinya. Lalu muncul kalimat yang menjebak orang. Agar memenuhi syarat sebagai tautan pendukung di AI Overviews atau AI Mode, sebuah halaman harus terindeks dan memenuhi syarat untuk ditampilkan dengan cuplikan. Jika Anda atau seseorang sebelum Anda mengatur nosnippet, data-nosnippet, atau max-snippet yang ketat untuk menghalau scraper, Anda telah menghapus diri dari jawaban AI, dan tidak ada apa pun di analitik Anda yang melaporkannya.
Panduan Google yang sama menyatakan Anda tidak perlu membuat file baru yang bisa dibaca mesin atau file teks AI untuk muncul di fitur-fitur ini. Kami sudah lama menyarankan orang agar tidak memperlakukan llms.txt sebagai perbaikan: tidak satu pun mesin yang kami amati mendokumentasikannya sebagai sinyal peringkat. Ada gunanya Google menyatakan versi umumnya dengan kata-katanya sendiri.
CDN Anda mungkin sudah menjawab ini untuk Anda
Pada 1 Juli 2025 Cloudflare mengumumkan perubahan default untuk memblokir crawler AI kecuali mereka membayar konten, dan merilis robots.txt terkelola yang disajikannya atas nama Anda dan terus diperbarui seiring munculnya bot baru. Setiap situs baru yang bergabung ke Cloudflare kini diminta membuat pilihan ini saat penyiapan.
Jadi bagi banyak perusahaan, jawaban jujur atas pertanyaan apa kata robots.txt saya tentang ChatGPT adalah saya tidak tahu, CDN saya yang menulisnya. Aturan WAF melakukan pekerjaan yang sama dengan lebih menyeluruh. Permintaannya tidak pernah mencapai origin Anda, jadi tidak ada apa pun di log atau analitik Anda yang mencatat kunjungan yang tidak terjadi. Halaman Anda tetap berperingkat, tetap termuat, tetap terlihat benar bagi Anda.
Dan pengambilan yang berhasil tetap harus kembali dengan kata-kata di dalamnya. Halaman yang dirender di sisi klien memberi agen-agen ini status 200 dan wadah kosong, yang terbaca sebagai halaman yang berfungsi bagi Anda dan sama sekali kosong bagi mereka.
Enam pengecekan yang menuntaskannya dalam satu sore
Tidak satu pun dari ini membutuhkan alat. Yang dibutuhkan adalah curl, log Anda, dan satu jam. Kami menjalankannya sebagai audit aksesibilitas bot dengan analitik crawler Cloudflare di belakangnya, tetapi Anda bisa melakukan setiap barisnya sendiri.
- Ambil robots.txt Anda melalui internet publik, bukan dari repositori, dan cari setiap token berdasarkan namanya: OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot.
- Lakukan untuk setiap subdomain. docs.example.com dan www.example.com adalah file terpisah dan keputusan terpisah, dan subdomain docs biasanya justru yang ingin Anda kutip.
- Minta halaman yang ingin Anda kutip menggunakan string user agent yang dipublikasikan setiap agen, dan baca apa yang kembali. Status 200 dengan div kosong adalah kegagalan, bukan kelulusan.
- Cari di CDN dan WAF Anda robots.txt terkelola atau aturan bot yang tidak ditulis siapa pun di tim saat ini.
- Cek bagian head halaman terbaik Anda untuk noindex, nosnippet, data-nosnippet, dan max-snippet. Salah satu dari itu bisa diam-diam menghapus halaman dari kelayakan AI Overviews.
- Cari nama agen di log akses Anda, lalu cocokkan alamat sumbernya dengan rentang IP yang dipublikasikan OpenAI, Perplexity, dan Anthropic. String user agent bebas diketik siapa saja. Rentang alamatlah yang memverifikasi.
Di mana ini bisa salah
Semua yang di atas adalah setiap mesin yang menjelaskan crawler-nya sendiri, dan baik token maupun perilakunya terus bergeser. Halaman Anthropic bertanggal April 2026, daftar crawler Google terakhir diperbarui pada Juli 2026, dan OpenAI menambah agen setiap kali merilis produk yang mengambil halaman. Baca dokumentasi terbaru sebelum Anda mengubah satu baris pun, bukan artikel ini.
robots.txt adalah sebuah permintaan. Perusahaan yang menyatakan botnya mematuhinya sedang membuat pernyataan kebijakan, bukan mekanisme penegakan, dan dua fetcher di sini mendokumentasikan bahwa mereka sama sekali tidak menerapkannya pada permintaan yang dimulai pengguna. Jika Anda butuh sesuatu tidak dibaca, robots.txt tidak pernah menjadi alatnya.
Mengizinkan crawler masuk juga tidak membuat Anda dikutip. Akses adalah lantainya, bukan jawabannya. Di kategori yang kami sampel, listicle adalah 44% dari apa yang dikutip ChatGPT untuk pertanyaan produk terbaik, jadi bisa dibaca dan dipilih adalah dua masalah berbeda. 44% kami adalah satu pengukuran pada sampel yang kami ambil, bukan konstanta.
Tetap layak meluangkan satu sore, karena kegagalan ini memang senyap. Tidak ada apa pun di mana pun yang melaporkan pengambilan yang tidak pernah terjadi.
