Ghi chép thực tế4 phút đọc

Robots.txt cho phép crawler AI trên 21 trong 32 website có máy chủ từ chối chúng

Công cụ kiểm tra robots.txt đọc tệp rồi dừng. Máy chủ, CDN và tường lửa mới quyết định crawler có thật sự nhận được trang hay không, và trong mẫu của chúng tôi, chúng từ chối crawler thường xuyên gần gấp ba lần robots.txt.

Chúng tôi kiểm tra 199 website ở robots.txt và ở máy chủ

Làm sao kiểm tra website của tôi đang chặn những crawler AI nào? Phần lớn công cụ kiểm tra, kể cả công cụ miễn phí của chúng tôi, đọc robots.txt rồi dừng ở đó. Tiêu chuẩn đứng sau tệp này, RFC 9309, nói thẳng về giới hạn của nó: "Các quy tắc này không phải là một hình thức cấp quyền truy cập." Một quy tắc chỉ yêu cầu crawler đừng vào. Việc một yêu cầu có nhận được trang hay không do máy chủ, CDN và tường lửa của bạn quyết định.

Proofsource kiểm tra website của mọi thương hiệu mà nó theo dõi. Chúng tôi lấy lần kiểm tra gần nhất của mỗi website trong khoảng từ ngày 5 tháng 10 đến ngày 20 tháng 11 năm 2026: 199 website, đã loại các tên miền của chính chúng tôi và tên miền thử nghiệm. Mỗi lần kiểm tra đọc robots.txt cho từng crawler AI, rồi yêu cầu trang chủ một lần cho mỗi crawler, gửi kèm User-Agent công khai của crawler đó. Nó ghi lại máy chủ đã trả trang hay trả lời 401, 403, 429 hoặc một thử thách chống bot.

Máy chủ từ chối GPTBot trên 32 website; robots.txt chặn nó trên 12

Máy chủ từ chối yêu cầu tự nhận là GPTBot trên 32 trong 199 website: 16,1% (11,6% đến 21,8%). robots.txt cấm GPTBot trên 12 website (6,0%).

Trên 21 trong 32 website đó, robots.txt cho phép mọi crawler AI mà chúng tôi kiểm tra. Nếu chỉ kiểm tra tệp, cả 21 website đều sẽ được báo là mở cửa cho AI.

Có một lần điều ngược lại xảy ra. Một website cấm GPTBot trong robots.txt, nhưng máy chủ vẫn trả trang. Tệp này chỉ là lời yêu cầu, theo cả hai chiều.

Phần lớn lệnh chặn ở máy chủ nhắm vào crawler huấn luyện và chừa crawler tìm kiếm

Trên 20 website, máy chủ từ chối GPTBot nhưng vẫn phục vụ OAI-SearchBot và ChatGPT-User, và 15 trong số đó cũng từ chối ClaudeBot. Cách chia này trông như có chủ đích. Tài liệu về crawler của OpenAI coi các crawler của họ là những thiết lập riêng: GPTBot thu thập dữ liệu huấn luyện, OAI-SearchBot tìm trang để hiển thị trong tìm kiếm của ChatGPT. Từ chối cái thứ nhất không loại bạn khỏi cái thứ hai.

13 website từ chối các crawler đưa trang vào câu trả lời

Để được trích dẫn, các crawler quan trọng là tác nhân tìm kiếm và tác nhân người dùng. 13 website (6,5%) từ chối ít nhất một trong OAI-SearchBot, ChatGPT-User hoặc PerplexityBot. robots.txt chỉ cấm chúng trên một trong 13 website đó.

10 website từ chối mọi crawler AI chúng tôi gửi. 7 trong 10 website đó trả lời bằng thử thách chống bot của Cloudflare thay vì một trang lỗi thông thường. OpenAI cho biết website từ chối OAI-SearchBot sẽ không được hiển thị trong câu trả lời tìm kiếm của ChatGPT, và đề nghị website nào muốn xuất hiện cho phép các dải IP mà họ công bố, ngoài việc cho phép tên crawler trong robots.txt.

Một số lệnh chặn này có lẽ chưa từng được ai viết tay

Cloudflare thêm tùy chọn chặn crawler AI chỉ bằng một cú nhấp vào tháng 9 năm 2024 và cho biết hơn một triệu khách hàng đã bật nó. Từ ngày 1 tháng 7 năm 2025, Cloudflare hỏi mọi tên miền mới ngay khi đăng ký có cho phép crawler AI hay không. Một thiết lập được chọn một lần trong bảng điều khiển, hoặc do người dựng tài khoản chọn, sẽ không hiện ra trong robots.txt. Nếu một crawler bị từ chối mà không ai trong nhóm nhớ đã quyết định việc đó, hãy xem ở đó trước.

Kiểm tra cả hai trong mười phút

  • Đọc robots.txt cho các crawler trả lời trước: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Sau đó quyết định riêng về các crawler huấn luyện, GPTBot và ClaudeBot.
  • Yêu cầu trang chủ của bạn bằng curl, đặt User-Agent là tên của từng crawler. Mã 403, 429 hoặc một trang thử thách nghĩa là máy chủ đã từ chối, bất kể robots.txt nói gì.
  • Mở phần thiết lập bot và crawler AI trong CDN của bạn và đọc từng crawler đang được đặt thế nào. Trên Cloudflare, hãy kiểm tra cả phần điều khiển crawler AI lẫn mọi quy tắc chặn bot AI.
  • Nếu tường lửa chỉ cho bot đã xác minh đi qua, hãy chắc rằng các dải IP do các công ty AI công bố nằm trong danh sách cho phép, rồi tìm các mã 403 trả cho những crawler đó trong nhật ký.

Cách Proofsource kiểm tra

Mỗi lần Proofsource kiểm tra website đều đọc robots.txt cho từng crawler AI và yêu cầu trang chủ của bạn dưới danh nghĩa từng crawler. Khi robots.txt cho phép một crawler mà máy chủ lại từ chối nó, lượt quét đầu tiên báo điều đó trên một dòng riêng, kèm thiết lập cần thay đổi.

Chỗ kết quả này có thể sai

Các yêu cầu của chúng tôi đến từ máy chủ của chúng tôi, không phải từ máy chủ của OpenAI, Anthropic hay Perplexity. Một tường lửa kiểm tra nguồn gốc yêu cầu có thể từ chối yêu cầu của chúng tôi mà vẫn phục vụ crawler thật. Điều này đúng nhất với các thử thách chống bot. Hãy coi một lần từ chối là lý do để mở thiết lập CDN, không phải bằng chứng rằng ChatGPT không đọc được website của bạn.

Một yêu cầu cho mỗi crawler, chỉ tới trang chủ, tại một thời điểm. 5 lần từ chối là giới hạn tốc độ 429, vốn có thể qua đi. Các trang khác có thể có quy tắc khác.

199 website của các thương hiệu được theo dõi trên Proofsource, không phải một mẫu ngẫu nhiên của web. Các lần kiểm tra trước gửi năm crawler, các lần sau gửi tám, nên số liệu cho Claude-SearchBot, Claude-User và Perplexity-User chỉ bao gồm 189 website. Chúng tôi không xem nhật ký của các website, nên không thể nói các lượt truy cập của crawler thật đã được trả lời ra sao.

Các con số bên ngoài đến từ đâu

  1. RFC 9309: Robots Exclusion Protocol · IETF
  2. Overview of OpenAI Crawlers · OpenAI
  3. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large · Cloudflare
  4. Kiểm tra robots.txt miễn phí cho crawler AI · Proofsource
Tất cả ghi chú

Câu hỏi

robots.txt có chặn được crawler AI không?

Nó yêu cầu crawler đừng vào, và các công ty AI lớn nói họ tuân theo, nhưng nó không chặn được một yêu cầu. Trong lần kiểm tra 199 website của chúng tôi, một website cấm GPTBot trong robots.txt nhưng máy chủ vẫn trả trang.

Làm sao biết Cloudflare có đang chặn ChatGPT không?

Yêu cầu trang chủ của bạn với User-Agent là OAI-SearchBot và xem có mã 403 hay trang thử thách không, rồi đọc thiết lập crawler AI trong Cloudflare. Trong mẫu của chúng tôi, 7 trong 10 website từ chối mọi crawler AI làm điều đó bằng thử thách chống bot của Cloudflare.

Nếu chặn GPTBot, tôi có biến mất khỏi ChatGPT không?

Không biến mất khỏi tìm kiếm của ChatGPT. OpenAI mô tả GPTBot (huấn luyện) và OAI-SearchBot (tìm kiếm) là hai thiết lập riêng. Trên 20 trong 199 website chúng tôi kiểm tra, máy chủ từ chối GPTBot mà vẫn phục vụ OAI-SearchBot.

Ghi chú liên quan

Ghi chép thực tế4 phút đọc

Khi có bản tóm tắt AI, lượt nhấp giảm từ 15% xuống 8%

Pew quan sát 900 người tìm kiếm trong một tháng. Khi bản tóm tắt AI xuất hiện, mọi người nhấp vào một kết quả 8% thời gian thay vì 15%, và nhấp vào một nguồn trong bản tóm tắt 1% thời gian. Đây là điều đó tác động thế nào lên một thương hiệu, và con số có thể sai ở đâu.

Ghi chép thực tế4 phút đọc

Hỏi về lựa chọn thay thế Profound hoặc Peec AI, bốn công cụ AI nêu cùng ba cái tên trong 95% câu trả lời

Có những lựa chọn nào thay thế Profound và Peec AI? Chúng tôi hỏi ChatGPT, Claude, Perplexity và Google AI Overviews bốn phiên bản của câu hỏi đó trong 16 ngày. Otterly.AI được nêu tên trong 235 trên 248 câu trả lời, và 96 trên 126 cái tên chúng tôi đếm được chỉ đến từ một công cụ duy nhất.

Ghi chép thực tế4 phút đọc

Sau hai câu hỏi tiếp theo, câu trả lời AI chỉ giữ lại 22% số công ty được nêu tên lúc đầu

AI có còn giới thiệu bạn sau khi người mua hỏi thêm không? Trong 180 cuộc trò chuyện ba câu hỏi, một phần ba câu trả lời mở đầu không nêu tên công ty nào, và chỉ 168 trên 753 công ty được nêu tên đầu tiên còn xuất hiện ở câu trả lời thứ ba.

Con số của chính bạn còn thuyết phục hơn bài viết hay nhất của chúng tôi.

Danh sách rút gọn trong danh mục của bạn đang được viết ngay lúc này, dù có ai đọc trang này hay không. Một bản dùng thử miễn phí, 25 câu hỏi trên bốn công cụ AI hôm nay, cho bạn biết tên mình có trong đó không.

100 câu trả lời. 25 Prompts/câu hỏi. Các công cụ AI hàng đầu. Miễn phí.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI