Perbaiki situs Anda sendiri agar AI bisa membaca dan menempatkan Anda.

Setiap mesin mengirim bot-nya sendiri, dan masing-masing bisa diizinkan atau ditolak secara terpisah. Yang menentukan apakah Anda bisa muncul di jawaban hari ini adalah bot pencarian dan bot yang mengambil halaman atas permintaan pengguna. Crawler pelatihan menentukan apa yang bisa dipelajari model di masa depan.

Bot yang paling banyak diblokir orang bukanlah bot yang menentukan apakah Anda muncul. OpenAI mendokumentasikan GPTBot sebagai crawler pelatihannya dan OAI-SearchBot sebagai bot yang menampilkan situs di pencarian ChatGPT; situs yang menolak OAI-SearchBot tidak muncul di jawaban pencarian ChatGPT. Anthropic memisahkan ClaudeBot (pelatihan) dari Claude-SearchBot dan Claude-User, dan Perplexity menyatakan bahwa PerplexityBot sama sekali tidak dipakai untuk pelatihan. Dokumentasi crawler Google menyatakan bahwa Google-Extended tidak memengaruhi penyertaan di Google Search, jadi memblokirnya tidak mengubah apa pun di AI Overviews (peta crawler lengkapnya).

Ada dua kegagalan umum, dan keduanya tidak terlihat saat Anda membuka situs di browser.

• Diblokir di edge. Perlindungan bot di CDN bisa mengembalikan error ke crawler AI meskipun robots.txt mengizinkannya; Cloudflare mengumumkan pada 1 Juli 2025 bahwa mereka akan memblokir crawler AI yang tidak membayar secara default. Pemeriksa robots.txt, seperti pemeriksa crawler AI gratis kami, tetap akan melaporkan setiap bot sebagai diizinkan, karena pemblokiran terjadi di server.
• Kosong sampai JavaScript berjalan. Jika teks Anda baru muncul setelah skrip dijalankan, banyak bot melihat halaman kosong, atau segelintir kata di tempat orang melihat ribuan.

Satu lagi untuk Google: agar bisa muncul sebagai tautan pendukung di AI Overviews atau AI Mode, sebuah halaman harus terindeks dan memenuhi syarat untuk menampilkan snippet, jadi aturan nosnippet atau max-snippet yang sangat pendek juga mengeluarkannya dari jawaban AI.

Cek sendiri dalam lima menit

Minta satu halaman penting sebagai setiap bot, lalu periksa kode status dan kata-kata yang kembali:

curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot" https://yoursite.com/
curl -s -o /dev/null -w "%{http_code}\n" -A "ClaudeBot" https://yoursite.com/
curl -s -A "OAI-SearchBot" https://yoursite.com/ | sed 's/<[^>]*>//g' | wc -w

Kode 403 atau 503 berarti ada yang memblokir bot tersebut. Jumlah kata yang jauh di bawah yang Anda lihat di halaman berarti teks Anda bergantung pada JavaScript. Perbaiki pemblokiran di CDN dan sajikan konten utama Anda di dalam HTML.

Tidak. llms.txt adalah file markdown yang diusulkan untuk mencantumkan halaman-halaman utama Anda bagi model bahasa. Panduan Google tentang fitur AI generatifnya, terakhir diperbarui 10 Juli 2026, menyatakan bahwa memublikasikannya tidak merugikan maupun membantu visibilitas Anda di Google Search, karena Search tidak memakainya, dan tidak satu pun mesin yang kami lacak menyatakan memakai llms.txt untuk peringkat.

Temuan jujur kami: kami mengunduh /llms.txt dari 300 domain yang paling banyak dikutip mesin AI dalam sampel kami. 129 memublikasikannya, dan 129 situs itu dikutip 6.343 kali. Satu kutipan mengarah ke sebuah file, yaitu llms-full.txt; tidak ada yang mengarah ke llms.txt. Dari sepuluh domain yang paling banyak dikutip, delapan tidak punya file dan dua memblokir pengecekan kami (studi llms.txt). Ahrefs menemukan hal yang sama dari sisi sebaliknya: 97% file dalam sampel Mei 2026 mereka tidak pernah menerima satu permintaan pun.

Memublikasikannya tidak merugikan, dan agen yang membaca dokumentasi memang memakainya. Jika Anda tetap ingin memublikasikannya, tulis dengan generator llms.txt dan cek salinan yang sudah ditayangkan dengan validator llms.txt.