llms.txt adalah daftar bacaan untuk agen, bukan file peringkat
Jeremy Howard mengusulkan file ini pada September 2024 dan merevisinya pada Agustus 2026. Ini adalah file markdown di root sebuah situs. Satu-satunya bagian wajib adalah H1 berisi nama situs; setelahnya ada ringkasan singkat opsional dalam blockquote dan daftar tautan ke halaman yang sebaiknya dibaca agen, idealnya sebagai markdown yang bersih.
Usulan itu terus terang soal siapa yang dilayaninya. File ini dimaksudkan untuk dibaca sesuai kebutuhan, saat agen membutuhkan informasi ketika membantu pengguna, dan paling banyak dipakai untuk dokumentasi software, tempat agen coding mengikutinya ke referensi API. OpenAI, Anthropic, dan Google masing-masing memublikasikan satu untuk dokumentasi developer mereka. Tidak ada isinya yang mengendalikan crawling, dan tidak ada yang meminta mesin mengutip Anda.
Google menyatakan Penelusuran mengabaikan file ini, dan 97% file tidak menerima permintaan dalam sampel Mei Ahrefs
Panduan Google untuk fitur AI generatifnya, terakhir diperbarui 10 Juli 2026, menempatkan llms.txt di urutan pertama dalam daftar hal yang bisa Anda abaikan. Menurut panduan itu, memublikasikannya tidak akan merugikan maupun membantu visibilitas Anda di Google Penelusuran, karena Penelusuran tidak menggunakannya.
Ahrefs memeriksa log server 137.210 domain untuk Mei 2026. 28% memublikasikan file yang valid, yang disebut Ahrefs sebagai batas atas karena pelanggannya cenderung teknis. 97% file itu sama sekali tidak menerima permintaan bulan itu. Dari permintaan yang memang datang, bot yang mengambil halaman untuk menjawab pertanyaan langsung, seperti OAI-SearchBot dan PerplexityBot, hanya mengirim 1,1%. Agen AI, termasuk agen coding Anthropic, dan crawler pelatihan mengambil jauh lebih banyak. Dan tidak ada bot AI yang meminta llms.txt yang tidak ada, jadi file yang tidak ada bukan berarti ada ketukan yang terlewat.
Dari 6.343 kutipan ke situs yang punya file, satu mengarah ke file itu
Ahrefs mengukur siapa yang mengambil file itu. Kami ingin melihat sisi lainnya: apa yang dikutip mesin. Sampel kami dari 23 Agustus hingga 5 Oktober 2026 memuat 41.597 kutipan dalam 4.228 jawaban dari ChatGPT, Perplexity, Claude, dan Google AI Overviews, di 18 akun. Pada 8 Oktober kami mengambil /llms.txt dari 300 domain yang paling sering dikutip.
129 mengembalikan file sungguhan. 137 tidak punya, atau menyajikan halaman HTML sebagai gantinya. 34 memblokir kami atau mengalami galat. Ke-129 situs yang punya file dikutip 6.343 kali. Satu dari kutipan itu mengarah ke filenya: sebuah llms-full.txt, dikutip oleh Perplexity pada 2 Oktober. Tidak ada jawaban yang mengutip llms.txt.
Situs yang paling sering dikutip sebagian besar tidak memilikinya. Dari sepuluh teratas, delapan tidak punya file dan dua memblokir pengecekan kami. Dari 25 teratas, tiga memilikinya.
14 dari 129 file berasal dari satu templat, yang ditulis untuk agen belanja
Empat belas file, semuanya dari toko online, mengikuti satu templat berjudul "Agent Instructions". Masing-masing menyatakan bahwa toko itu dibangun di Shopify dan meminta agen belanja memasang sebuah skill agar bisa membeli langsung. Ahrefs menemukan pergeseran yang sama: Wix membuat file ini untuk situs-situsnya, dan pembuat situs lain kini memeriksa keberadaannya.
Itu penting karena dua alasan. Banyak pemilik situs tidak pernah memilih isi file mereka. Dan file itu berbicara atas nama Anda kepada agen mana pun yang membacanya, jadi layak ditinjau seperti halaman di situs Anda.
Publikasikan jika murah, lalu pakai waktu yang sebenarnya di tempat lain
File ini murah dan tidak merugikan, jadi tidak ada alasan menghapus yang sudah Anda punya. Hanya saja jangan menghitungnya sebagai pekerjaan visibilitas AI.
- Jika Anda punya dokumentasi developer atau API, publikasikan satu. Agen coding adalah pembaca yang benar-benar terlihat di data.
- Isi hanya dengan tautan biasa dan deskripsi satu baris, tanpa apa pun yang terbaca sebagai instruksi. Simpan di version control dan baca apa pun yang dibuat platform Anda.
- Pastikan itu file markdown sungguhan dan bukan beranda Anda yang disajikan di path itu. Tujuh dari 100 domain teratas kami mengembalikan HTML dengan status 200.
- Pakai sisa waktu untuk halaman yang dikutip mesin untuk kategori Anda: halaman produk dan perbandingan Anda sendiri, serta halaman pihak ketiga yang sudah dikutip di samping Anda.
Di mana ini bisa keliru
Kutipan tidak sama dengan dibaca. Mesin bisa mengambil file itu, mengikuti tautannya, lalu mengutip halaman yang ditunjuknya, dan data kami tidak akan menunjukkannya. Kami mengukur apa yang sampai ke jawaban, bukan apa yang dilihat mesin.
Kami mengambil file-file itu pada 8 Oktober, setelah periode sampel berakhir. Sebagian mungkin lebih baru daripada kutipan di sampingnya.
Ke-300 domain itu berasal dari apa yang dilacak 18 akun kami: campuran ritel, aplikasi konsumen, dan software bisnis, dengan banyak merek yang dijual di luar AS. Kumpulan kategori lain bisa terlihat berbeda.
Angka Ahrefs mencakup satu bulan dan basis pelanggan yang condong ke SEO. Volume pengambilan bisa bertambah seiring agen mengambil alih lebih banyak penjelajahan.
