llms.txt là danh sách đọc cho agent, không phải tệp xếp hạng
Jeremy Howard đề xuất tệp này vào tháng 9 năm 2024 và sửa đổi vào tháng 8 năm 2026. Đó là một tệp markdown ở thư mục gốc của trang web. Phần bắt buộc duy nhất là một H1 chứa tên trang; sau đó là một bản tóm tắt ngắn tùy chọn trong blockquote và các danh sách liên kết đến những trang mà agent nên đọc, lý tưởng là ở dạng markdown sạch.
Bản đề xuất nói rõ nó phục vụ ai. Tệp được thiết kế để đọc khi cần, lúc agent cần thông tin trong khi giúp người dùng, và được dùng nhiều nhất cho tài liệu phần mềm, nơi các agent lập trình lần theo nó đến tài liệu tham khảo API. OpenAI, Anthropic và Google đều công bố một tệp cho tài liệu dành cho nhà phát triển của họ. Không có nội dung nào trong đó kiểm soát việc crawl, và không có gì yêu cầu công cụ trích dẫn bạn.
Google nói Tìm kiếm bỏ qua tệp này, và 97% tệp không nhận được yêu cầu nào trong mẫu tháng 5 của Ahrefs
Hướng dẫn của Google về các tính năng AI tạo sinh, cập nhật lần cuối ngày 10 tháng 7 năm 2026, đặt llms.txt đầu tiên trong danh sách những thứ bạn có thể bỏ qua. Theo hướng dẫn, việc công bố nó sẽ không gây hại cũng không giúp ích cho mức độ hiển thị của bạn trên Google Tìm kiếm, vì Tìm kiếm không dùng nó.
Ahrefs kiểm tra nhật ký máy chủ của 137.210 tên miền trong tháng 5 năm 2026. 28% có công bố một tệp hợp lệ, mà Ahrefs gọi là giới hạn trên vì khách hàng của họ thiên về kỹ thuật. 97% các tệp đó không nhận được yêu cầu nào trong tháng. Trong số yêu cầu có đến, các bot tải trang để trả lời câu hỏi trực tiếp, như OAI-SearchBot và PerplexityBot, chỉ chiếm 1,1%. Các agent AI, trong đó có agent lập trình của Anthropic, và crawler huấn luyện tải nhiều hơn hẳn. Và không bot AI nào yêu cầu một llms.txt không tồn tại, nên thiếu tệp không có nghĩa là bỏ lỡ lượt gõ cửa nào.
Trong 6.343 trích dẫn đến các trang có tệp, một lần trỏ đến chính tệp
Ahrefs đo ai tải tệp. Chúng tôi muốn xem đầu bên kia: các công cụ trích dẫn gì. Mẫu của chúng tôi từ 23 tháng 8 đến 5 tháng 10 năm 2026 gồm 41.597 trích dẫn trong 4.228 câu trả lời từ ChatGPT, Perplexity, Claude và Google AI Overviews, trên 18 tài khoản. Ngày 8 tháng 10, chúng tôi tải /llms.txt từ 300 tên miền được trích dẫn nhiều nhất.
129 trang trả về một tệp thật. 137 trang không có, hoặc trả về một trang HTML thay vào đó. 34 trang chặn chúng tôi hoặc báo lỗi. 129 trang có tệp được trích dẫn 6.343 lần. Một trong các trích dẫn đó trỏ đến tệp: một llms-full.txt, được Perplexity trích dẫn ngày 2 tháng 10. Không câu trả lời nào trích dẫn llms.txt.
Phần lớn các trang được trích dẫn nhiều nhất không có tệp này. Trong top mười, tám trang không có tệp và hai trang chặn việc kiểm tra của chúng tôi. Trong top 25, ba trang có.
14 trong 129 tệp đến từ cùng một mẫu, viết cho agent mua sắm
Mười bốn tệp, tất cả từ các cửa hàng trực tuyến, theo cùng một mẫu có tiêu đề "Agent Instructions". Mỗi tệp nói cửa hàng được xây dựng trên Shopify và yêu cầu agent mua sắm cài một kỹ năng để có thể mua trực tiếp. Ahrefs cũng thấy xu hướng tương tự: Wix tự tạo tệp cho các trang của mình, và các công cụ dựng trang khác giờ cũng kiểm tra xem có tệp không.
Điều đó quan trọng vì hai lý do. Nhiều chủ trang chưa bao giờ chọn nội dung tệp của mình. Và tệp nói thay bạn với bất kỳ agent nào đọc nó, nên nó đáng được xem xét như một trang trên website của bạn.
Công bố nếu rẻ, rồi dành thời gian thực sự cho việc khác
Tệp này tốn ít công sức và không gây hại, nên không có lý do xóa tệp bạn đã có. Chỉ đừng tính nó là công việc cải thiện mức độ hiển thị trên AI.
- Nếu bạn có tài liệu cho nhà phát triển hoặc API, hãy công bố một tệp. Agent lập trình là những người đọc mà dữ liệu thực sự cho thấy.
- Chỉ để các liên kết đơn giản và mô tả một dòng, không có gì đọc lên như một chỉ dẫn. Đưa nó vào hệ thống quản lý phiên bản và đọc lại những gì nền tảng của bạn tự tạo.
- Kiểm tra rằng đó là tệp markdown thật chứ không phải trang chủ được phục vụ ở đường dẫn đó. Bảy trong top 100 tên miền của chúng tôi trả về HTML với mã trạng thái 200.
- Dành phần thời gian còn lại cho những trang mà các công cụ trích dẫn trong danh mục của bạn: trang sản phẩm và trang so sánh của chính bạn, và các trang bên thứ ba đã được trích dẫn cạnh bạn.
Điều này có thể sai ở đâu
Một trích dẫn không phải là một lần đọc. Công cụ có thể tải tệp, lần theo các liên kết của nó và trích dẫn trang mà nó trỏ đến, và dữ liệu của chúng tôi sẽ không thấy điều đó. Chúng tôi đo những gì đến được câu trả lời, không phải những gì công cụ đã xem.
Chúng tôi tải các tệp vào ngày 8 tháng 10, sau khi giai đoạn lấy mẫu kết thúc. Một số tệp có thể mới hơn các trích dẫn đi kèm.
300 tên miền đến từ những gì 18 tài khoản của chúng tôi theo dõi: hỗn hợp bán lẻ, ứng dụng tiêu dùng và phần mềm doanh nghiệp, với nhiều thương hiệu bán ngoài nước Mỹ. Một nhóm danh mục khác có thể cho kết quả khác.
Số liệu của Ahrefs chỉ gồm một tháng và một tập khách hàng thiên về SEO. Lượng tải có thể tăng khi agent đảm nhận nhiều việc duyệt web hơn.
