Sửa trang web của bạn để AI đọc được và xếp đúng chỗ.

Mỗi công cụ gửi bot riêng của mình, và bạn có thể cho phép hoặc chặn từng bot. Việc bạn có xuất hiện trong câu trả lời hôm nay hay không do các bot truy xuất phục vụ tìm kiếm và yêu cầu của người dùng quyết định. Crawler huấn luyện quyết định những gì các mô hình tương lai có thể học.

Bot mà phần lớn mọi người chặn không phải là bot quyết định họ có xuất hiện hay không. OpenAI ghi rõ GPTBot là crawler huấn luyện và OAI-SearchBot là bot đưa trang web lên kết quả tìm kiếm của ChatGPT; các trang chặn OAI-SearchBot sẽ không xuất hiện trong câu trả lời tìm kiếm của ChatGPT. Anthropic tách ClaudeBot (huấn luyện) khỏi Claude-SearchBot và Claude-User, còn Perplexity cho biết PerplexityBot hoàn toàn không dùng để huấn luyện. Tài liệu về crawler của Google cho biết Google-Extended không ảnh hưởng đến việc được đưa vào Google Tìm kiếm, nên chặn nó không có tác dụng gì với AI Overviews (bản đồ crawler đầy đủ).

Có hai lỗi phổ biến, và không lỗi nào hiện ra khi bạn xem trang web trên trình duyệt:

• Bị chặn ở biên mạng. Cài đặt chặn bot của CDN có thể trả lỗi cho crawler AI ngay cả khi robots.txt cho phép chúng. Ngày 1 tháng 7 năm 2025, Cloudflare thông báo sẽ chặn theo mặc định các crawler AI không trả phí. Một trình kiểm tra robots.txt, như trình kiểm tra crawler AI miễn phí của chúng tôi, sẽ báo mọi bot đều được phép, vì việc chặn diễn ra ở máy chủ.
• Trống trơn cho đến khi JavaScript chạy. Nếu văn bản chỉ xuất hiện sau khi một script chạy, nhiều bot chỉ thấy một trang trắng hoặc vài chữ, trong khi người xem thấy hàng nghìn chữ.

Thêm một điều về Google: để xuất hiện dưới dạng liên kết hỗ trợ trong AI Overviews hoặc AI Mode, trang phải được lập chỉ mục và đủ điều kiện hiển thị đoạn trích. Vì vậy nosnippet hoặc max-snippet quá chặt cũng khiến trang bị loại khỏi câu trả lời AI.

Tự kiểm tra trong năm phút

Truy xuất một trang quan trọng dưới danh nghĩa từng bot và kiểm tra mã trạng thái cùng số chữ trả về:

curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot" https://yoursite.com/
curl -s -o /dev/null -w "%{http_code}\n" -A "ClaudeBot" https://yoursite.com/
curl -s -A "OAI-SearchBot" https://yoursite.com/ | sed 's/<[^>]*>//g' | wc -w

Mã 403 hoặc 503 nghĩa là có thứ gì đó đang chặn bot đó. Số chữ thấp hơn nhiều so với những gì trang hiển thị nghĩa là văn bản phụ thuộc vào JavaScript. Hãy gỡ chặn ở CDN và phục vụ nội dung chính bằng HTML.

Không. llms.txt là một tệp markdown đang ở dạng đề xuất, liệt kê các trang chính của một trang web cho mô hình ngôn ngữ. Hướng dẫn của Google về các tính năng AI tạo sinh (cập nhật lần cuối ngày 10 tháng 7 năm 2026) cho biết Tìm kiếm không sử dụng tệp này, nên việc xuất bản nó không gây hại cũng không giúp ích cho mức độ hiển thị trên Google Tìm kiếm, và không công cụ nào chúng tôi theo dõi cho biết sẽ dùng llms.txt để xếp hạng.

Đây là phát hiện trung thực của chúng tôi. Chúng tôi truy xuất /llms.txt từ 300 tên miền được các công cụ AI trích dẫn nhiều nhất trong mẫu: 129 tên miền có xuất bản tệp này, và các trang đó được trích dẫn 6.343 lần. Chỉ có một trích dẫn trỏ đến tệp, và đó là llms-full.txt; không trích dẫn nào trỏ đến llms.txt. Trong 10 tên miền được trích dẫn nhiều nhất, 8 tên miền không có tệp và 2 tên miền chặn lượt kiểm tra của chúng tôi (nghiên cứu về llms.txt). Ahrefs có cùng kết quả từ phía ngược lại: 97% số tệp trong mẫu tháng 5 năm 2026 của họ chưa từng được yêu cầu.

Xuất bản nó không gây hại, và các agent đọc tài liệu có dùng đến nó. Nếu bạn vẫn xuất bản, hãy tạo tệp bằng trình tạo llms.txt và kiểm tra bản đang chạy bằng trình xác thực llms.txt.