Apa itu robots.txt?
robots.txt adalah file teks biasa di root situs web yang memberi tahu crawler jalur mana yang boleh diambil, berdasarkan Robots Exclusion Protocol (RFC 9309). robots.txt adalah kontrol tertua yang dimiliki sebuah situs atas crawler, dan di era AI file ini memuat lebih banyak keputusan dari sebelumnya: pelatihan, pengindeksan pencarian, dan pengambilan yang dipicu pengguna masing-masing punya bot sendiri, dan aturan untuk satu bot tidak berlaku untuk yang lain.
Bagaimana robots.txt bekerja?
File ini bekerja sebagai kumpulan grup: setiap grup menyebut satu atau beberapa token user-agent dan mencantumkan jalur Allow dan Disallow. Aturannya distandardisasi sebagai Robots Exclusion Protocol dalam RFC 9309 (Koster, Illyes, Zeller, dan Sassman, September 2022), yang menetapkan detail yang diikuti crawler (RFC 9309, dibaca 15 Okt 2026):
- File bernama robots.txt, dalam huruf kecil, di tingkat teratas host, disajikan sebagai teks biasa UTF-8.
- Saat aturan bertentangan, kecocokan yang paling spesifik yang menang: yang memiliki oktet terbanyak.
- Crawler harus mengurai setidaknya 500 kibibyte dari file, dan sebaiknya tidak memakai salinan cache lebih dari 24 jam kecuali file tidak dapat dijangkau.
- Respons 4xx membolehkan crawler mengambil apa saja; respons 5xx berarti crawler harus menganggap semuanya dilarang.
- Aturan ini bukan bentuk otorisasi akses: aturan ini adalah permintaan, dan jalur yang dicantumkan terlihat secara publik.
Bagaimana menulis aturan robots.txt untuk crawler AI?
Sebut setiap bot dengan tokennya dan putuskan setiap tugas secara terpisah. Posisi yang umum adalah tetap dapat ditemukan di pencarian AI sambil menjauhkan konten dari pelatihan: izinkan agen pencarian dan agen pengambilan pengguna, larang crawler pelatihan yang tidak Anda setujui.
Setiap host memiliki file sendiri, jadi docs.example.com memerlukan aturannya sendiri; Anthropic meminta pemilik situs menambahkan aturannya ke setiap subdomain yang ingin dicakup (Anthropic, 7 April 2026).
# Dapat ditemukan di pencarian AI dan pengambilan pengguna
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Dijauhkan dari pelatihan model
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /Kesalahan robots.txt mana yang menyembunyikan Anda dari jawaban AI?
Yang merugikan biasanya tidak disengaja:
- Memblokir agen pencarian (OAI-SearchBot, Claude-SearchBot, PerplexityBot) padahal maksudnya memblokir pelatihan.
- Aturan menyeluruh di bawah User-agent: * yang juga menjaring crawler pencarian AI.
- Pengaturan CDN atau keamanan yang memblokir bot AI sebelum robots.txt Anda sempat dibaca.
- Aturan di www tetapi tidak di subdomain docs atau bantuan yang paling ingin dikutip mesin.
- Kontrol snippet di halaman penting: Google menyatakan halaman harus memenuhi syarat untuk ditampilkan dengan snippet agar muncul di AI Overviews atau AI Mode (Google Search Central).
Apa yang ditentukan robots.txt dalam contoh nyata?
File ini menentukan apakah halaman Anda bisa bersaing untuk mendapat kutipan sama sekali. Dalam contoh Tesla publik (4 Okt 2026), Perplexity memberi 375 kutipan dan Claude 351 di 25 pertanyaan pembeli; tesla.com mendapat 3 dan 1 di antaranya.
Situs yang robots.txt-nya memblokir agen pencarian mesin-mesin itu bahkan kehilangan peluang tersebut. Mengizinkannya tidak otomatis memenangkan kutipan; itu membuat halaman Anda ikut bersaing.
Bagaimana memeriksa robots.txt Anda untuk crawler AI?
Ambil file yang aktif dari internet publik, untuk setiap host, dan cari setiap token berdasarkan namanya. Pemeriksa crawler AI gratis membaca robots.txt aktif Anda dan melaporkan crawler AI mana yang diizinkan atau diblokir, dan Akses crawler di Proofsource memeriksanya bersama lapisan CDN dan teks yang dirender.
Pertanyaan umum tentang robots.txt
Apakah robots.txt menghentikan AI memakai konten saya?
Hanya untuk crawler yang mematuhinya, dan hanya sejak mereka membacanya. Ini permintaan, bukan kunci, dan pengambil yang dipicu pengguna seperti Perplexity-User mendokumentasikan bahwa mereka umumnya mengabaikannya.
Apakah memblokir GPTBot mengeluarkan saya dari ChatGPT?
Tidak. GPTBot adalah crawler pelatihan OpenAI. Pencarian ChatGPT ditentukan oleh OAI-SearchBot, dan OpenAI menyatakan setiap pengaturan berdiri sendiri.
Berapa lama perubahan robots.txt berlaku?
RFC 9309 menyatakan crawler sebaiknya tidak mengandalkan salinan cache lebih dari 24 jam, dan OpenAI menyatakan sistem pencariannya memerlukan sekitar 24 jam untuk mencerminkan perubahan.
Apakah llms.txt pengganti robots.txt?
Bukan. robots.txt menetapkan aturan crawler. llms.txt adalah usulan daftar bacaan untuk model bahasa dan tidak mengatur akses.
Istilah terkait
- GPTBot
GPTBot adalah crawler web OpenAI untuk mengumpulkan konten yang dapat dipakai melatih model fondasi AI generatif OpenAI.
- OAI-SearchBot
OAI-SearchBot adalah crawler OpenAI untuk menampilkan situs web di fitur pencarian ChatGPT, dan situs yang menolaknya tidak ditampilkan dalam jawaban pencarian ChatGPT.
- ClaudeBot
ClaudeBot adalah crawler web Anthropic yang mengumpulkan konten web yang dapat berkontribusi pada pelatihan model Claude milik Anthropic.
- llms.txt
llms.txt adalah usulan file markdown di root situs web yang memberi tahu model bahasa tentang situs tersebut dan mencantumkan halaman yang paling layak dibaca.
Contoh kasus: Tesla, jawaban AI publik, 4 Okt 2026: pemindaian pertama Proofsource untuk Tesla, 25 pertanyaan pembeli dan 5 pertanyaan merek, satu jawaban per pertanyaan di masing-masing dari empat mesin. Sampel kecil dari satu merek, ditampilkan sebagai contoh, bukan tolok ukur.
Lihat di mana AI melewatkan Anda, dan apa yang perlu diperbaiki.
Lihat pertanyaan pembeli mana yang menyebut merek Anda, siapa yang disebut sebagai gantinya, dan apa yang perlu diperbaiki. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu.
Google AI OverviewsGoogle AI Mode
