OpenAI gửi bốn agent, và chỉ một agent quyết định ChatGPT search
Có một đoạn robots.txt đang lan truyền không cho phép GPTBot. Rất nhiều người đã dán nó vào và cảm thấy đã giải quyết xong chuyện ChatGPT. Họ giải quyết một câu hỏi. Chỉ là không phải câu hỏi đó.
OpenAI ghi nhận bốn user agent, mỗi cái một nhiệm vụ. GPTBot thu thập nội dung có thể được dùng để huấn luyện các mô hình nền tảng. OAI-SearchBot là agent dùng để đưa trang web lên các tính năng tìm kiếm của ChatGPT, và trang của chính OpenAI nói các trang chọn không tham gia sẽ không được hiển thị trong câu trả lời ChatGPT search, dù vẫn có thể xuất hiện dưới dạng liên kết điều hướng. ChatGPT-User lấy một trang khi có người hỏi ChatGPT điều gì đó, và vì do người dùng khởi tạo, OpenAI nói các quy tắc robots.txt có thể không áp dụng. OAI-AdsBot chỉ truy cập những trang được gửi làm quảng cáo.
OpenAI nói rõ mỗi thiết lập là độc lập. Bạn có thể cho phép OAI-SearchBot và không cho phép GPTBot, tức đồng ý được tìm thấy và từ chối làm dữ liệu huấn luyện. Đó là một lập trường hợp lý cho hầu hết các công ty, và hầu như không tệp robots.txt nào chúng tôi đọc thực sự thể hiện điều đó. Dù chọn thế nào, hãy đợi khoảng một ngày: OpenAI nói cần khoảng 24 giờ từ khi robots.txt thay đổi để hệ thống của họ cập nhật.
Anthropic chia làm ba, và Perplexity phớt lờ bạn khi có người hỏi
Anthropic vận hành ba agent. ClaudeBot thu thập nội dung web có thể được đưa vào huấn luyện. Claude-SearchBot lập chỉ mục nội dung để cải thiện kết quả tìm kiếm. Claude-User lấy một trang khi có người hỏi Claude một câu hỏi. Trang trợ giúp của Anthropic nêu rõ hệ quả của từng agent: tắt Claude-SearchBot và nội dung của bạn không còn được lập chỉ mục cho tìm kiếm, tắt Claude-User và Claude không còn truy xuất trang của bạn để trả lời câu hỏi của người dùng.
Perplexity vận hành hai agent. PerplexityBot tồn tại để đưa lên và liên kết các trang trong kết quả của Perplexity và hoàn toàn không dùng để thu thập dữ liệu huấn luyện. Perplexity-User truy cập một trang khi có người đặt câu hỏi, và tài liệu của Perplexity nói thẳng điều tế nhị: vì việc lấy trang do người dùng yêu cầu, trình lấy trang này thường phớt lờ robots.txt.
Cộng lại, quy tắc chặn tất cả bot AI rơi vào một chỗ khá lạ. Trong chín agent ở trên, phần lớn những agent mà mọi người định chặn lại chính là những agent đưa liên kết của bạn đến trước mặt người mua, và một trong số đó vốn không nghe theo robots.txt.
Google-Extended không liên quan gì đến AI Overviews
Đây là điều khiến mọi người mất nhiều nhất. Google-Extended là một token robots.txt, không có chuỗi user agent riêng, kiểm soát việc nội dung được crawl có dùng để huấn luyện các mô hình Gemini tương lai và grounding cho Gemini Apps hay không. Tài liệu crawler của Google nói thẳng rằng nó không ảnh hưởng đến việc trang web có được đưa vào Google Search hay không và không được dùng làm tín hiệu xếp hạng. Chặn nó không có tác dụng gì với AI Overviews.
AI Overviews và AI Mode là Search. Google nói vậy trong hướng dẫn cho chủ sở hữu trang web: AI được tích hợp vào Search, và chỉ thị robots.txt cho Googlebot là công cụ kiểm soát. Rồi đến câu khiến mọi người mắc bẫy. Để đủ điều kiện làm liên kết hỗ trợ trong AI Overviews hoặc AI Mode, một trang phải được lập chỉ mục và đủ điều kiện hiển thị kèm đoạn trích. Nếu bạn, hoặc ai đó trước bạn, đã đặt nosnippet, data-nosnippet hoặc max-snippet chặt để ngăn trình cào dữ liệu, bạn đã tự loại mình khỏi câu trả lời AI, và không gì trong công cụ phân tích của bạn báo lại điều đó.
Cùng hướng dẫn đó của Google nói bạn không cần tạo tệp máy đọc mới hay tệp văn bản AI để xuất hiện trong các tính năng này. Chúng tôi đã nói với mọi người từ lâu rằng đừng coi llms.txt là cách sửa: không công cụ nào chúng tôi theo dõi ghi nhận nó là tín hiệu xếp hạng. Thật hữu ích khi Google nói phiên bản chung của điều đó bằng chính lời của mình.
Có thể CDN của bạn đã trả lời thay bạn
Ngày 1 tháng 7 năm 2025, Cloudflare thông báo đổi mặc định sang chặn crawler AI trừ khi chúng trả tiền cho nội dung, và ra mắt robots.txt được quản lý mà họ cung cấp thay bạn và cập nhật khi có bot mới xuất hiện. Mọi trang web mới tham gia Cloudflare giờ đều được yêu cầu đưa ra lựa chọn này khi thiết lập.
Vì vậy với nhiều công ty, câu trả lời trung thực cho câu hỏi robots.txt của tôi nói gì về ChatGPT là tôi không biết, CDN của tôi viết nó. Một quy tắc WAF làm cùng việc đó triệt để hơn. Yêu cầu không bao giờ tới máy chủ gốc, nên không gì trong nhật ký hay công cụ phân tích của bạn ghi lại một lượt truy cập không hề xảy ra. Trang của bạn vẫn xếp hạng, vẫn tải được, vẫn trông bình thường với bạn.
Và một lượt lấy trang thành công vẫn phải trả về có chữ trong đó. Một trang render phía máy khách sẽ đưa cho các agent này mã 200 và một vùng chứa trống, trông như một trang hoạt động bình thường với bạn và chẳng có gì với chúng.
Sáu bước kiểm tra giải quyết xong trong một buổi chiều
Không điều gì ở đây cần công cụ. Chỉ cần curl, nhật ký của bạn và một giờ. Chúng tôi chạy nó như một cuộc kiểm tra khả năng truy cập của bot với phân tích crawler của Cloudflare phía sau, nhưng bạn có thể tự làm từng dòng.
- Lấy robots.txt của bạn qua internet công khai, không phải từ kho mã, và tìm từng token theo tên: OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot.
- Làm cho mọi tên miền con. docs.example.com và www.example.com là hai tệp riêng và hai quyết định riêng, và tên miền con docs thường chính là nơi bạn muốn được trích dẫn.
- Yêu cầu một trang bạn muốn được trích dẫn bằng chuỗi user agent công bố của từng agent, và đọc những gì trả về. Mã 200 với một div trống là thất bại, không phải đạt.
- Tìm trong CDN và WAF của bạn xem có robots.txt được quản lý hay quy tắc bot nào mà không ai trong đội hiện tại viết không.
- Kiểm tra phần head của các trang tốt nhất xem có noindex, nosnippet, data-nosnippet và max-snippet không. Bất kỳ thứ nào trong số đó đều có thể lặng lẽ loại một trang khỏi điều kiện xuất hiện trong AI Overviews.
- Tìm tên các agent trong nhật ký truy cập, rồi đối chiếu địa chỉ nguồn với dải IP mà OpenAI, Perplexity và Anthropic công bố. Chuỗi user agent thì ai cũng gõ được. Dải địa chỉ mới là phần xác minh.
Điều này có thể sai ở đâu
Mọi thứ ở trên là từng công cụ tự mô tả crawler của mình, và cả token lẫn hành vi đều thay đổi. Trang của Anthropic ghi ngày tháng 4 năm 2026, danh sách crawler của Google được cập nhật lần cuối vào tháng 7 năm 2026, và OpenAI thêm agent mỗi khi ra mắt một sản phẩm có lấy trang. Hãy đọc tài liệu đang có hiệu lực trước khi đổi một dòng, không phải bài viết này.
robots.txt là một lời đề nghị. Một công ty nói bot của họ tuân thủ là tuyên bố chính sách chứ không phải cơ chế cưỡng chế, và hai trình lấy trang ở đây ghi rõ rằng chúng hoàn toàn không áp dụng nó cho các yêu cầu do người dùng khởi tạo. Nếu bạn cần điều gì đó không bị đọc, robots.txt chưa bao giờ là công cụ đúng.
Cho crawler vào cũng không khiến bạn được trích dẫn. Quyền truy cập là mức sàn, không phải câu trả lời. Trong danh mục chúng tôi lấy mẫu, listicle chiếm 44% những gì ChatGPT trích dẫn cho câu hỏi về lựa chọn tốt nhất, nên đọc được và được chọn là hai bài toán khác nhau. Con số 44% của chúng tôi là một phép đo đơn lẻ trên mẫu chúng tôi lấy, không phải hằng số.
Dù vậy vẫn đáng dành một buổi chiều, vì thất bại này về bản chất là im lặng. Không nơi nào báo lại một lượt lấy trang chưa bao giờ xảy ra.
