robots.txt là gì?
robots.txt là một tệp văn bản thuần ở thư mục gốc của website, cho các crawler biết những đường dẫn nào chúng được phép tải, theo Robots Exclusion Protocol (RFC 9309). robots.txt là công cụ kiểm soát lâu đời nhất của một trang web đối với crawler, và trong thời đại AI nó gánh nhiều quyết định hơn bao giờ hết: huấn luyện, lập chỉ mục cho tìm kiếm và truy xuất do người dùng kích hoạt đều có bot riêng, và một quy tắc cho bot này không nói gì về các bot khác.
robots.txt hoạt động thế nào?
Nó hoạt động như một tập hợp các nhóm: mỗi nhóm nêu một hoặc nhiều token user-agent và liệt kê các đường dẫn Allow và Disallow. Các quy tắc được chuẩn hóa thành Robots Exclusion Protocol trong RFC 9309 (Koster, Illyes, Zeller và Sassman, tháng 9 năm 2022), quy định các chi tiết mà crawler tuân theo (RFC 9309, đọc ngày 15 tháng 10 năm 2026):
- Tệp có tên robots.txt, viết thường, nằm ở cấp cao nhất của host và được phục vụ dưới dạng văn bản thuần UTF-8.
- Khi các quy tắc xung đột, quy tắc khớp cụ thể nhất sẽ thắng: quy tắc có nhiều octet nhất.
- Crawler phải xử lý ít nhất 500 kibibyte của tệp và không nên dùng bản lưu đệm quá 24 giờ, trừ khi tệp không truy cập được.
- Phản hồi 4xx cho phép crawler lấy bất cứ thứ gì; phản hồi 5xx nghĩa là crawler phải coi như mọi thứ đều bị chặn.
- Các quy tắc không phải là một hình thức cấp quyền truy cập: chúng là một lời yêu cầu, và mọi đường dẫn được liệt kê đều hiển thị với bất kỳ ai.
Viết quy tắc robots.txt cho crawler AI như thế nào?
Gọi mỗi bot bằng token của nó và quyết định từng chức năng riêng. Lập trường phổ biến nhất là vẫn có thể được tìm thấy trong tìm kiếm AI nhưng giữ nội dung ngoài việc huấn luyện: cho phép các agent tìm kiếm và truy xuất theo yêu cầu người dùng, và chặn các crawler huấn luyện bạn không muốn.
Mỗi host có tệp riêng, nên docs.example.com cần quy tắc riêng; Anthropic đề nghị chủ trang web thêm quy tắc vào mọi tên miền phụ mà họ muốn áp dụng (Anthropic, ngày 7 tháng 4 năm 2026).
# Có thể được tìm thấy trong tìm kiếm AI và truy xuất của người dùng
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Không dùng để huấn luyện mô hình
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /Những lỗi robots.txt nào khiến bạn biến mất khỏi câu trả lời AI?
Những lỗi đắt giá nhất thường là vô tình:
- Chặn các agent tìm kiếm (OAI-SearchBot, Claude-SearchBot, PerplexityBot) trong khi ý định là chặn việc huấn luyện.
- Một quy tắc chung dưới User-agent: * cũng bắt luôn các crawler tìm kiếm AI.
- Một cấu hình CDN hoặc bảo mật chặn bot AI trước khi chúng kịp đọc robots.txt của bạn.
- Có quy tắc trên www, nhưng không có trên tên miền phụ tài liệu hoặc trợ giúp, nơi các công cụ muốn trích dẫn nhất.
- Kiểm soát đoạn trích trên các trang quan trọng: Google cho biết một trang phải đủ điều kiện hiển thị kèm đoạn trích mới có thể xuất hiện trong AI Overviews hoặc AI Mode (Google Search Central).
robots.txt quyết định điều gì trong một ví dụ thực tế?
Nó quyết định trang của bạn có được tham gia cạnh tranh trích dẫn hay không. Trong ví dụ Tesla công khai (4 tháng 10 năm 2026), Perplexity đưa ra 375 trích dẫn và Claude 351 trích dẫn trên 25 câu hỏi của người mua; tesla.com nhận được lần lượt 3 và 1 trong số đó.
Một trang web có robots.txt chặn các agent tìm kiếm của những công cụ đó sẽ mất luôn cả chừng đó. Cho phép chúng không tự mang lại trích dẫn; nó chỉ đưa trang của bạn vào cuộc đua.
Kiểm tra robots.txt cho crawler AI như thế nào?
Lấy tệp đang chạy thực tế từ internet, cho từng host, và tìm từng token theo tên. Công cụ kiểm tra crawler AI miễn phí đọc robots.txt đang chạy của bạn và cho biết crawler AI nào được cho phép hoặc bị chặn, còn Quyền truy cập của crawler trong Proofsource kiểm tra nó cùng với lớp CDN và văn bản được render.
Câu hỏi thường gặp về robots.txt
robots.txt có ngăn AI sử dụng nội dung của tôi không?
Chỉ với những crawler tôn trọng nó, và chỉ từ khi chúng đọc nó. Đó là một lời yêu cầu, không phải ổ khóa, và các agent truy xuất do người dùng kích hoạt, như Perplexity-User, có ghi rõ rằng chúng thường bỏ qua nó.
Chặn GPTBot có loại tôi khỏi ChatGPT không?
Không. GPTBot là crawler huấn luyện của OpenAI. Tìm kiếm của ChatGPT dựa vào OAI-SearchBot, và OpenAI cho biết mỗi thiết lập là độc lập.
Thay đổi trong robots.txt mất bao lâu để có hiệu lực?
RFC 9309 cho biết crawler không nên dựa vào bản lưu đệm quá 24 giờ, và OpenAI cho biết hệ thống tìm kiếm của họ mất khoảng 24 giờ để phản ánh một thay đổi.
llms.txt có thay thế robots.txt không?
Không. robots.txt đặt quy tắc cho crawler. llms.txt là một danh sách đọc được đề xuất cho các mô hình ngôn ngữ và không có tác dụng gì đối với quyền truy cập.
Thuật ngữ liên quan
- GPTBot
GPTBot là crawler web của OpenAI dùng để thu thập nội dung có thể được dùng để huấn luyện các mô hình nền tảng AI tạo sinh của OpenAI.
- OAI-SearchBot
OAI-SearchBot là crawler của OpenAI dùng để đưa các website lên tính năng tìm kiếm của ChatGPT, và những website từ chối nó sẽ không được hiển thị trong câu trả lời tìm kiếm của ChatGPT.
- ClaudeBot
ClaudeBot là crawler web của Anthropic, thu thập nội dung web có thể góp phần huấn luyện các mô hình Claude của Anthropic.
- llms.txt
llms.txt là một tệp markdown được đề xuất đặt ở thư mục gốc của website, cho các mô hình ngôn ngữ biết website là gì và liệt kê những trang đáng đọc nhất.
Ví dụ thực tế: Tesla, câu trả lời AI công khai, 4/10/2026: lượt quét đầu tiên của Proofsource cho Tesla, 25 câu hỏi của người mua và 5 câu hỏi về thương hiệu, một câu trả lời cho mỗi câu hỏi trên mỗi công cụ trong bốn công cụ AI. Một mẫu nhỏ của một thương hiệu, đưa ra làm ví dụ, không phải chuẩn so sánh.
Xem AI bỏ sót bạn ở đâu, và cần sửa gì.
Xem câu hỏi nào của người mua nêu tên thương hiệu của bạn, ai được nêu tên thay bạn, và cần sửa gì. 200 câu trả lời. 25 Prompts/câu hỏi. Các công cụ AI hàng đầu. 2 ngày. Miễn phí. Không cần thẻ.
Google AI OverviewsGoogle AI Mode
