Ghi chép thực tế4 phút đọc

53% yêu cầu tự xưng là GPTBot, ClaudeBot hoặc PerplexityBot trên sáu website đến từ nơi khác

Tên bot là thứ khách truy cập tự gõ vào. Địa chỉ mới là bằng chứng. Ở một nửa số site chúng tôi xem xét, phần lớn lưu lượng crawler AI chỉ là đồ hóa trang, còn ở nửa kia gần như không có.

Chúng tôi đối chiếu 64.222 yêu cầu của crawler AI với danh sách của chính nhà phát triển

Lượt truy cập của crawler AI trong log của bạn có thật không? Một crawler tự giới thiệu bằng user agent, một dòng chữ như "GPTBot/1.1". Ai cũng có thể gửi dòng đó. OpenAI, Anthropic và Perplexity đều công bố địa chỉ IP mà bot của họ dùng, và một yêu cầu chỉ thật sự là của họ khi tên và địa chỉ khớp nhau.

Sáu website đã kết nối Cloudflare với Proofsource, không site nào là của chúng tôi. Với mỗi yêu cầu mang tên một crawler AI, chúng tôi đối chiếu địa chỉ với danh sách do nhà phát triển của bot đó công bố. Chúng tôi lấy khoảng thời gian từ ngày 12 tháng 10 đến ngày 13 tháng 11 năm 2026, 33 ngày, và năm bot: GPTBot, OAI-SearchBot và ChatGPT-User của OpenAI, ClaudeBot của Anthropic và PerplexityBot. Các con số là ước tính từ dữ liệu yêu cầu được lấy mẫu của Cloudflare.

52,9% yêu cầu không qua kiểm tra, và GPTBot trượt nhiều nhất trong các crawler

Trong 64.222 yêu cầu mang tên một trong năm bot, 33.964 yêu cầu đến từ địa chỉ mà nhà phát triển của bot không liệt kê: 52,9%. Theo từng bot, tỷ lệ không qua là 83,0% với ChatGPT-User, 72,6% với GPTBot, 61,0% với ClaudeBot, 34,4% với OAI-SearchBot và 34,1% với PerplexityBot.

Googlebot, được kiểm tra theo cùng cách với danh sách của Google, không qua ở 20,7% yêu cầu trên cùng các site. Tên crawler AI bị giả mạo thường xuyên hơn tên của Google, ít nhất là ở đây.

Ba site phần lớn là giả, ba site gần như sạch

Con số trung bình che mất câu chuyện thật. Ở ba site, 69%, 84% và 96% yêu cầu của crawler AI không qua kiểm tra. Ở ba site còn lại, con số là 4%, 5% và 7%. Ở site tệ nhất, ClaudeBot có 251 yêu cầu đã xác minh và 7.144 yêu cầu không qua.

Vì vậy một con số chuẩn duy nhất cho "bao nhiêu lưu lượng bot AI là giả" không có nhiều ý nghĩa. Site của bạn có thể nằm ở đầu nào cũng được, và chỉ việc kiểm tra lưu lượng của chính bạn mới cho biết là đầu nào.

200 trên 253 địa chỉ không qua kiểm tra cũng nhận là bot của công ty khác

Cloudflare cho chúng tôi tối đa ba địa chỉ mẫu cho mỗi bot, mỗi site, mỗi ngày. Không tính máy chủ của chính chúng tôi, 253 địa chỉ mẫu không qua kiểm tra khi nhận là một trong năm bot. 200 địa chỉ trong số đó cũng nhận là bot của một công ty khác ở một yêu cầu khác, và 168 địa chỉ nhận là bot của từ ba công ty trở lên. Một địa chỉ dùng 12 tên bot khác nhau của chín công ty.

Không crawler thật nào làm vậy. GPTBot đến từ danh sách của OpenAI và Googlebot từ danh sách của Google. Một địa chỉ nhận là cả hai là ai đó đang thử từng cái tên cho đến khi có tên lọt qua, thường nhất là từ máy chủ đám mây đi thuê.

Các danh sách bỏ sót một phần lưu lượng thật, nên hãy kiểm tra mọi danh sách

Theo chiều ngược lại, bước kiểm tra cũng không hoàn hảo. Claude-User, agent mà Claude dùng để đọc một trang người dùng hỏi tới, không qua kiểm tra ở 97,5% yêu cầu trên các site này. Khoảng một nửa số lần không qua trong mẫu đến từ 160.79.104.0/21, một dải mà Anthropic công bố trên trang IP của API là nguồn của các lệnh gọi web fetch và web search đi ra từ API, và trang đó không phải danh sách crawler của họ.

Những lượt truy cập này rất có thể là thật, và nếu chỉ kiểm tra với danh sách crawler thì chúng bị đánh dấu là giả. Vì vậy chúng tôi để Claude-User ngoài con số 52,9%. Nếu bạn tự xác minh, hãy kiểm tra mọi dải mà một công ty công bố cho các fetcher của họ, không chỉ tệp crawler.

Chúng tôi sẽ làm gì

  • Đếm lượt truy cập của crawler AI theo địa chỉ đã xác minh, không theo tên. Một bảng điều khiển đếm theo tên có thể có hơn một nửa là đồ hóa trang.
  • Dùng danh sách của từng nhà phát triển: openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json, claude.com/crawling/bots.json cùng các dải IP API của Anthropic, và perplexity.ai/perplexitybot.json.
  • Nếu tường lửa của bạn cho bot vào theo tên, hãy đối chiếu cả địa chỉ. Chính tài liệu của Perplexity có một quy tắc Cloudflare ghép mỗi user agent với các dải IP của nó.
  • Đừng chặn một bot theo tên chỉ vì những gì kẻ mạo danh đã làm. Hàng giả không phải là bot đó, và chặn OAI-SearchBot hay PerplexityBot thật sẽ khiến bạn không xuất hiện trong kết quả tìm kiếm của họ.

Proofsource hiển thị việc này thế nào

Khi một site kết nối Cloudflare, Proofsource đối chiếu địa chỉ của từng yêu cầu crawler AI với danh sách do nhà phát triển công bố và hiển thị riêng các yêu cầu đã xác minh và không qua cho từng bot. Bot mà nhà phát triển không công bố danh sách được hiển thị là không thể xác minh, thay vì bị tính là thật hay giả. Bước kiểm tra của chúng tôi có lỗ hổng Claude-User nêu ở trên, và chúng tôi đang bổ sung các dải IP API của Anthropic vào đó.

Chỗ có thể sai

Sáu site là một mẫu nhỏ, và các site này đã kết nối Cloudflare với một công cụ đo mức độ hiển thị, nên có thể không giống một site trung bình. Độ chênh giữa chúng quan trọng hơn con số 52,9%.

Một danh sách có thể lỗi thời hoặc thiếu, như trường hợp Claude-User cho thấy. Một số lần không qua của các bot khác có thể là lưu lượng thật từ những địa chỉ chưa được liệt kê. Các địa chỉ nhận là bot của nhiều công ty khiến khả năng đó thấp với phần lớn trường hợp.

Bước kiểm tra site của chính chúng tôi có gửi một vài yêu cầu dưới các tên bot này. Nhiều nhất 300 yêu cầu có thể rơi vào khoảng thời gian này; bỏ hết chúng đi thì vẫn còn 52,7%.

Các yêu cầu không độc lập với nhau, và một scraper hoạt động nhiều có thể làm thay đổi con số của một site. Một báo cáo bên ngoài, về một site mới trong hai tuần, thấy 6 trên 33 lượt truy cập tự nhận là trợ lý AI là thật. Đó là site và phương pháp khác, nhưng cùng chỉ về một hướng.

Các con số bên ngoài đến từ đâu

  1. Overview of OpenAI Crawlers · OpenAI
  2. Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
  3. IP addresses · Anthropic
  4. Perplexity Crawlers · Perplexity
  5. Verify Requests from Google Crawlers and Fetchers · Google
  6. 81.8% Of My 'AI Assistant' Traffic Was Fake. The Googlebot Number Was Worse · Search Engine Journal
Tất cả ghi chú

Câu hỏi

Lượt truy cập của crawler AI trong log của tôi có thật không?

Hãy kiểm tra địa chỉ, không phải tên. Trên sáu website từ ngày 12 tháng 10 đến ngày 13 tháng 11 năm 2026, 52,9% yêu cầu mang tên bot của OpenAI, Anthropic hoặc Perplexity đến từ địa chỉ mà các công ty này không công bố. Tỷ lệ dao động từ 4% ở một site đến 96% ở site khác.

Làm sao xác minh một yêu cầu GPTBot thật sự đến từ OpenAI?

Đối chiếu địa chỉ IP của yêu cầu với danh sách OpenAI công bố tại openai.com/gptbot.json. OpenAI công bố danh sách riêng cho OAI-SearchBot và ChatGPT-User, Anthropic và Perplexity công bố danh sách của mình, còn Google có tài liệu về reverse DNS và danh sách IP cho các crawler của họ.

Có nên chặn các crawler AI không qua kiểm tra không?

Bạn có thể chặn các địa chỉ không qua kiểm tra nếu muốn, nhưng đừng chặn tên bot. Chặn OAI-SearchBot hay PerplexityBot theo tên cũng chặn luôn crawler thật, mà theo các công ty này thì điều đó khiến trang của bạn không xuất hiện trong câu trả lời tìm kiếm của họ.

Con số của chính bạn còn thuyết phục hơn bài viết hay nhất của chúng tôi.

Danh sách rút gọn trong danh mục của bạn đang được viết ngay lúc này, dù có ai đọc trang này hay không. Một bản dùng thử miễn phí, 25 câu hỏi trên bốn công cụ AI hôm nay, cho bạn biết tên mình có trong đó không.

100 câu trả lời. 25 Prompts/câu hỏi. Các công cụ AI hàng đầu. Miễn phí.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI