Chúng tôi kiểm tra 199 website ở robots.txt và ở máy chủ
Làm sao kiểm tra website của tôi đang chặn những crawler AI nào? Phần lớn công cụ kiểm tra, kể cả công cụ miễn phí của chúng tôi, đọc robots.txt rồi dừng ở đó. Tiêu chuẩn đứng sau tệp này, RFC 9309, nói thẳng về giới hạn của nó: "Các quy tắc này không phải là một hình thức cấp quyền truy cập." Một quy tắc chỉ yêu cầu crawler đừng vào. Việc một yêu cầu có nhận được trang hay không do máy chủ, CDN và tường lửa của bạn quyết định.
Proofsource kiểm tra website của mọi thương hiệu mà nó theo dõi. Chúng tôi lấy lần kiểm tra gần nhất của mỗi website trong khoảng từ ngày 5 tháng 10 đến ngày 20 tháng 11 năm 2026: 199 website, đã loại các tên miền của chính chúng tôi và tên miền thử nghiệm. Mỗi lần kiểm tra đọc robots.txt cho từng crawler AI, rồi yêu cầu trang chủ một lần cho mỗi crawler, gửi kèm User-Agent công khai của crawler đó. Nó ghi lại máy chủ đã trả trang hay trả lời 401, 403, 429 hoặc một thử thách chống bot.
Máy chủ từ chối GPTBot trên 32 website; robots.txt chặn nó trên 12
Máy chủ từ chối yêu cầu tự nhận là GPTBot trên 32 trong 199 website: 16,1% (11,6% đến 21,8%). robots.txt cấm GPTBot trên 12 website (6,0%).
Trên 21 trong 32 website đó, robots.txt cho phép mọi crawler AI mà chúng tôi kiểm tra. Nếu chỉ kiểm tra tệp, cả 21 website đều sẽ được báo là mở cửa cho AI.
Có một lần điều ngược lại xảy ra. Một website cấm GPTBot trong robots.txt, nhưng máy chủ vẫn trả trang. Tệp này chỉ là lời yêu cầu, theo cả hai chiều.
Phần lớn lệnh chặn ở máy chủ nhắm vào crawler huấn luyện và chừa crawler tìm kiếm
Trên 20 website, máy chủ từ chối GPTBot nhưng vẫn phục vụ OAI-SearchBot và ChatGPT-User, và 15 trong số đó cũng từ chối ClaudeBot. Cách chia này trông như có chủ đích. Tài liệu về crawler của OpenAI coi các crawler của họ là những thiết lập riêng: GPTBot thu thập dữ liệu huấn luyện, OAI-SearchBot tìm trang để hiển thị trong tìm kiếm của ChatGPT. Từ chối cái thứ nhất không loại bạn khỏi cái thứ hai.
13 website từ chối các crawler đưa trang vào câu trả lời
Để được trích dẫn, các crawler quan trọng là tác nhân tìm kiếm và tác nhân người dùng. 13 website (6,5%) từ chối ít nhất một trong OAI-SearchBot, ChatGPT-User hoặc PerplexityBot. robots.txt chỉ cấm chúng trên một trong 13 website đó.
10 website từ chối mọi crawler AI chúng tôi gửi. 7 trong 10 website đó trả lời bằng thử thách chống bot của Cloudflare thay vì một trang lỗi thông thường. OpenAI cho biết website từ chối OAI-SearchBot sẽ không được hiển thị trong câu trả lời tìm kiếm của ChatGPT, và đề nghị website nào muốn xuất hiện cho phép các dải IP mà họ công bố, ngoài việc cho phép tên crawler trong robots.txt.
Một số lệnh chặn này có lẽ chưa từng được ai viết tay
Cloudflare thêm tùy chọn chặn crawler AI chỉ bằng một cú nhấp vào tháng 9 năm 2024 và cho biết hơn một triệu khách hàng đã bật nó. Từ ngày 1 tháng 7 năm 2025, Cloudflare hỏi mọi tên miền mới ngay khi đăng ký có cho phép crawler AI hay không. Một thiết lập được chọn một lần trong bảng điều khiển, hoặc do người dựng tài khoản chọn, sẽ không hiện ra trong robots.txt. Nếu một crawler bị từ chối mà không ai trong nhóm nhớ đã quyết định việc đó, hãy xem ở đó trước.
Kiểm tra cả hai trong mười phút
- Đọc robots.txt cho các crawler trả lời trước: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Sau đó quyết định riêng về các crawler huấn luyện, GPTBot và ClaudeBot.
- Yêu cầu trang chủ của bạn bằng curl, đặt User-Agent là tên của từng crawler. Mã 403, 429 hoặc một trang thử thách nghĩa là máy chủ đã từ chối, bất kể robots.txt nói gì.
- Mở phần thiết lập bot và crawler AI trong CDN của bạn và đọc từng crawler đang được đặt thế nào. Trên Cloudflare, hãy kiểm tra cả phần điều khiển crawler AI lẫn mọi quy tắc chặn bot AI.
- Nếu tường lửa chỉ cho bot đã xác minh đi qua, hãy chắc rằng các dải IP do các công ty AI công bố nằm trong danh sách cho phép, rồi tìm các mã 403 trả cho những crawler đó trong nhật ký.
Cách Proofsource kiểm tra
Mỗi lần Proofsource kiểm tra website đều đọc robots.txt cho từng crawler AI và yêu cầu trang chủ của bạn dưới danh nghĩa từng crawler. Khi robots.txt cho phép một crawler mà máy chủ lại từ chối nó, lượt quét đầu tiên báo điều đó trên một dòng riêng, kèm thiết lập cần thay đổi.
Chỗ kết quả này có thể sai
Các yêu cầu của chúng tôi đến từ máy chủ của chúng tôi, không phải từ máy chủ của OpenAI, Anthropic hay Perplexity. Một tường lửa kiểm tra nguồn gốc yêu cầu có thể từ chối yêu cầu của chúng tôi mà vẫn phục vụ crawler thật. Điều này đúng nhất với các thử thách chống bot. Hãy coi một lần từ chối là lý do để mở thiết lập CDN, không phải bằng chứng rằng ChatGPT không đọc được website của bạn.
Một yêu cầu cho mỗi crawler, chỉ tới trang chủ, tại một thời điểm. 5 lần từ chối là giới hạn tốc độ 429, vốn có thể qua đi. Các trang khác có thể có quy tắc khác.
199 website của các thương hiệu được theo dõi trên Proofsource, không phải một mẫu ngẫu nhiên của web. Các lần kiểm tra trước gửi năm crawler, các lần sau gửi tám, nên số liệu cho Claude-SearchBot, Claude-User và Perplexity-User chỉ bao gồm 189 website. Chúng tôi không xem nhật ký của các website, nên không thể nói các lượt truy cập của crawler thật đã được trả lời ra sao.