ClaudeBot là gì?
ClaudeBot là crawler web của Anthropic, thu thập nội dung web có thể góp phần huấn luyện các mô hình Claude của Anthropic. Anthropic vận hành ba bot với các nhiệm vụ riêng: ClaudeBot cho huấn luyện, Claude-SearchBot cho lập chỉ mục tìm kiếm, và Claude-User để lấy trang khi có người đặt câu hỏi cho Claude. Mỗi bot được nêu tên riêng trong robots.txt, nên quy tắc cho ClaudeBot không áp dụng cho hai bot còn lại.
User agent của ClaudeBot là gì?
ClaudeBot tự nhận diện bằng token sản phẩm ClaudeBot, và một nhóm trong robots.txt phải nêu đúng token đó. Bài trợ giúp của Anthropic nêu tên ba bot (ClaudeBot, Claude-User và Claude-SearchBot) nhưng không đưa ra chuỗi user agent đầy đủ, nên hãy khớp token trong log của bạn thay vì một chuỗi sao chép (bài viết về crawler của Anthropic, đọc ngày 15 tháng 10 năm 2026).
Tên trong một dòng log có thể bị giả mạo. Để xác nhận một yêu cầu thực sự đến từ Anthropic, hãy kiểm tra IP nguồn với danh sách Anthropic công bố tại claude.com/crawling/bots.json; Anthropic cho biết crawler có IP nguồn trong danh sách đó là của Anthropic.
Một số tệp robots.txt vẫn nêu anthropic-ai hoặc Claude-Web, các token cũ. Bài viết hiện tại của Anthropic không nhắc đến cả hai, nên một quy tắc chỉ nêu các token cũ đó không được ghi nhận là áp dụng cho ClaudeBot.
ClaudeBot thu thập gì, và để làm gì?
ClaudeBot thu thập nội dung web công khai có thể đóng góp vào việc huấn luyện các mô hình AI tạo sinh của Anthropic, điều mà Anthropic cho biết giúp mô hình hữu ích và an toàn hơn. Chặn nó là tín hiệu rằng nội dung tương lai của trang bạn nên được loại khỏi các bộ dữ liệu huấn luyện của Anthropic.
Anthropic cũng mô tả cách các bot của mình hoạt động:
- Tuân theo các chỉ thị "do not crawl" trong robots.txt.
- Không cố vượt qua CAPTCHA hay các biện pháp chống truy cập trái phép khác.
- Hỗ trợ quy tắc Crawl-delay không chuẩn, nên bạn có thể làm chậm ClaudeBot mà không cần chặn.
- Quy tắc áp dụng cho từng host, nên trang có subdomain cần quy tắc trong robots.txt của từng subdomain.
ClaudeBot khác Claude-User và Claude-SearchBot thế nào?
ClaudeBot liên quan đến huấn luyện; Claude-SearchBot và Claude-User liên quan đến việc được tìm thấy và được đọc khi ai đó hỏi Claude điều gì. Anthropic cảnh báo rằng tắt một trong hai bot sau có thể làm giảm mức độ hiển thị của trang bạn trong câu trả lời tìm kiếm của Claude.
| Bot | Nhiệm vụ | Nếu bạn chặn nó |
|---|---|---|
| ClaudeBot | Thu thập nội dung web có thể đóng góp vào việc huấn luyện mô hình | Báo hiệu rằng nội dung tương lai của bạn nên được loại khỏi huấn luyện |
| Claude-SearchBot | Đọc web để cải thiện chất lượng và mức độ liên quan của kết quả tìm kiếm Claude | Dừng lập chỉ mục cho tìm kiếm, có thể làm giảm mức độ hiển thị và độ chính xác của bạn trong câu trả lời tìm kiếm của Claude |
| Claude-User | Lấy một trang khi ai đó đặt cho Claude câu hỏi cần đến trang đó | Claude không thể lấy trang của bạn cho câu hỏi đó, có thể làm giảm mức độ hiển thị của bạn trong tìm kiếm do người dùng chủ động |
Làm thế nào để chặn hoặc cho phép ClaudeBot trong robots.txt?
Thêm một nhóm nêu tên ClaudeBot vào tệp robots.txt ở gốc của mỗi host. Ví dụ của chính Anthropic chặn ClaudeBot khỏi toàn bộ trang bằng một dòng Disallow: / dưới User-agent: ClaudeBot.
Một lựa chọn phổ biến là giữ nội dung ngoài quá trình huấn luyện nhưng vẫn có thể được tìm thấy trong câu trả lời của Claude: chặn ClaudeBot, cho phép hai bot còn lại. Crawl-delay là cách được Anthropic ghi nhận để làm chậm ClaudeBot thay vì chặn. Đừng dựa vào việc chặn địa chỉ IP của Anthropic để thay thế; Anthropic cho biết điều đó có thể không hoạt động ổn định, vì nó ngăn các bot đọc robots.txt của bạn. Sau đó hãy xác nhận tệp đang chạy bằng công cụ kiểm tra crawler AI miễn phí.
# Giữ nội dung ngoài quá trình huấn luyện của Anthropic
User-agent: ClaudeBot
Disallow: /
# Vẫn được tìm thấy trong câu trả lời của Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Hoặc, thay vì chặn ClaudeBot, chỉ làm chậm nó:
# User-agent: ClaudeBot
# Crawl-delay: 1Điều này có ý nghĩa gì với việc được Claude trích dẫn?
Việc được Claude trích dẫn phụ thuộc vào Claude-SearchBot và Claude-User tiếp cận được trang của bạn; ClaudeBot là một quyết định riêng về huấn luyện. Chặn cả ba nghĩa là từ bỏ cả hai.
Trích dẫn của Claude phân tán mỏng ngay cả với các thương hiệu nổi tiếng. Trong ví dụ Tesla công khai (ngày 4 tháng 10 năm 2026), Claude nêu tên Tesla trong 11 trên 25 câu trả lời cho câu hỏi của người mua và đưa ra 351 trích dẫn trong các câu trả lời đó, chỉ một trích dẫn đến tesla.com. Trang được trích dẫn nhiều nhất là en.wikipedia.org, 16 lần. Đó là không gian trích dẫn mà quy tắc crawler tìm kiếm quyết định bạn có thể cạnh tranh hay không, và không gian đó được đo bằng cách đặt câu hỏi, không phải bằng cách đọc robots.txt. Xem cách Claude chọn các thương hiệu nó nêu tên.
Câu hỏi thường gặp về ClaudeBot
Chặn ClaudeBot có xóa trang của tôi khỏi Claude không?
Theo mô tả của Anthropic thì không. ClaudeBot là crawler huấn luyện. Việc lập chỉ mục tìm kiếm do Claude-SearchBot thực hiện và việc lấy trang cho câu hỏi của người dùng do Claude-User thực hiện, và Anthropic cho biết chặn hai bot đó mới có thể làm giảm mức độ hiển thị của bạn trong câu trả lời tìm kiếm của Claude.
ClaudeBot có tuân theo robots.txt không?
Anthropic cho biết các bot của mình tuân theo chỉ thị robots.txt, không vượt qua CAPTCHA và hỗ trợ Crawl-delay. Hãy đặt quy tắc trong robots.txt của từng subdomain bạn muốn áp dụng.
Tôi có nên chặn ClaudeBot theo địa chỉ IP không?
Anthropic khuyên không nên dựa vào cách đó: chặn địa chỉ IP của họ có thể không hoạt động đúng hoặc ổn định, và ngăn bot đọc robots.txt của bạn. Hãy dùng robots.txt cho quy tắc, và chỉ dùng danh sách IP Anthropic công bố để xác nhận một yêu cầu là thật.
ClaudeBot có giống anthropic-ai không?
Không. anthropic-ai và Claude-Web là các token cũ vẫn còn trong một số tệp robots.txt, và bài viết hiện tại của Anthropic không nhắc đến chúng. Bài viết chỉ nêu tên ClaudeBot, Claude-SearchBot và Claude-User, nên hãy viết quy tắc cho ba bot đó.
Thuật ngữ liên quan
- GPTBot
GPTBot là crawler web của OpenAI dùng để thu thập nội dung có thể được dùng để huấn luyện các mô hình nền tảng AI tạo sinh của OpenAI.
- OAI-SearchBot
OAI-SearchBot là crawler của OpenAI dùng để đưa các website lên tính năng tìm kiếm của ChatGPT, và những website từ chối nó sẽ không được hiển thị trong câu trả lời tìm kiếm của ChatGPT.
- PerplexityBot
PerplexityBot là crawler của Perplexity, lập chỉ mục các trang web để chúng có thể được hiển thị và liên kết trong kết quả tìm kiếm của Perplexity.
Ví dụ thực tế: Tesla, câu trả lời AI công khai, 4/10/2026: lượt quét đầu tiên của Proofsource cho Tesla, 25 câu hỏi của người mua và 5 câu hỏi về thương hiệu, một câu trả lời cho mỗi câu hỏi trên mỗi công cụ trong bốn công cụ AI. Một mẫu nhỏ của một thương hiệu, đưa ra làm ví dụ, không phải chuẩn so sánh.
Xem AI bỏ sót bạn ở đâu, và cần sửa gì.
Xem câu hỏi nào của người mua nêu tên thương hiệu của bạn, ai được nêu tên thay bạn, và cần sửa gì. 200 câu trả lời. 25 Prompts/câu hỏi. Các công cụ AI hàng đầu. 2 ngày. Miễn phí. Không cần thẻ.
Google AI OverviewsGoogle AI Mode
