Claude-SearchBot là gì?
Claude-SearchBot là crawler của Anthropic, đọc web để cải thiện chất lượng và mức độ liên quan của kết quả tìm kiếm trong Claude. Claude-SearchBot là crawler đứng sau tính năng tìm kiếm của Claude: nó đọc web từ trước để Claude có kết quả tốt mà dựa vào. Chặn nó là một quyết định về tìm kiếm, không phải về huấn luyện.
Claude-SearchBot làm gì?
Anthropic cho biết Claude-SearchBot duyệt web để cải thiện chất lượng kết quả tìm kiếm cho người dùng, phân tích nội dung trực tuyến để tăng mức độ liên quan và độ chính xác của câu trả lời tìm kiếm. Tắt nó sẽ ngăn hệ thống của Anthropic lập chỉ mục nội dung của bạn để tối ưu tìm kiếm, điều mà Anthropic cho biết có thể làm giảm mức độ hiển thị và độ chính xác của website trong kết quả tìm kiếm của người dùng (Anthropic, 7 tháng 4 năm 2026).
Claude-SearchBot hoạt động thế nào?
Anthropic mô tả cùng một bộ quy tắc cho cả ba bot của họ:
- Chúng tuân thủ chỉ thị robots.txt.
- Chúng không cố vượt qua CAPTCHA hay các biện pháp chống lách khác.
- Chúng hỗ trợ quy tắc không chuẩn Crawl-delay, để làm chậm bot mà không cần chặn.
- Một quy tắc áp dụng theo từng host, nên mỗi tên miền phụ cần quy tắc riêng.
- Chặn theo địa chỉ IP có thể không hiệu quả ổn định, vì nó có thể khiến bot không đọc được robots.txt.
Làm sao cho phép Claude-SearchBot nhưng chặn huấn luyện?
Hãy cho mỗi bot một nhóm riêng. Đây là lựa chọn phổ biến của các thương hiệu muốn được Claude trích dẫn mà không đóng góp vào dữ liệu huấn luyện. Xác nhận tệp đang chạy bằng công cụ kiểm tra crawler AI miễn phí.
# Vẫn được tìm thấy trong tìm kiếm của Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Không cho nội dung vào dữ liệu huấn luyện của Anthropic
User-agent: ClaudeBot
Disallow: /Điều gì đang bị đặt cược, trong một ví dụ thực tế?
Trong ví dụ công khai về Tesla (4 tháng 10 năm 2026), Claude trích dẫn 351 trang trên 25 câu hỏi của người mua, nhiều hơn ChatGPT và Google AI Overviews cộng lại, và nêu tên Tesla trong 11 câu trả lời.
Một danh sách nguồn dài là một kho lớn các vị trí trích dẫn, và Claude-SearchBot quyết định trang của bạn có được lập chỉ mục cho kho đó hay không. tesla.com chỉ nhận được một trong 351 trích dẫn đó; phần lớn thuộc về các trang tham khảo và trang bên thứ ba.
Làm sao thấy Claude-SearchBot trên website của bạn?
Proofsource đếm các yêu cầu của crawler AI từ zone Cloudflare hoặc log truy cập của bạn mỗi ngày, được xác minh với danh sách IP Anthropic công bố, và cho thấy những trang được thu thập nào cuối cùng được trích dẫn trong câu trả lời của Claude. Xem Lưu lượng AI và Quyền truy cập của crawler.
Câu hỏi thường gặp về Claude-SearchBot
Claude-SearchBot có được dùng để huấn luyện không?
Anthropic mô tả nó là lập chỉ mục nội dung để cải thiện kết quả tìm kiếm. Huấn luyện là việc của ClaudeBot, và mỗi bot có quy tắc robots.txt riêng.
Điều gì xảy ra nếu tôi chặn Claude-SearchBot?
Anthropic cho biết nội dung của bạn sẽ không còn được lập chỉ mục để tối ưu tìm kiếm, điều có thể làm giảm mức độ hiển thị và độ chính xác của bạn trong câu trả lời tìm kiếm của Claude.
Tôi có thể làm chậm Claude-SearchBot thay vì chặn không?
Có. Anthropic hỗ trợ quy tắc không chuẩn Crawl-delay cho các bot của họ.
Làm sao biết một lượt truy cập thực sự là Claude-SearchBot?
Đối chiếu IP nguồn với danh sách Anthropic công bố tại claude.com/crawling/bots.json; Anthropic cho biết một IP trong danh sách đó là đến từ Anthropic.
Thuật ngữ liên quan
- ClaudeBot
ClaudeBot là crawler web của Anthropic, thu thập nội dung web có thể góp phần huấn luyện các mô hình Claude của Anthropic.
- Claude-User
Claude-User là agent mà Anthropic dùng để tải một trang web khi có người hỏi Claude một câu hỏi cần đến trang đó.
- robots.txt
robots.txt là một tệp văn bản thuần ở thư mục gốc của website, cho các crawler biết những đường dẫn nào chúng được phép tải, theo Robots Exclusion Protocol (RFC 9309).
- PerplexityBot
PerplexityBot là crawler của Perplexity, lập chỉ mục các trang web để chúng có thể được hiển thị và liên kết trong kết quả tìm kiếm của Perplexity.
Ví dụ thực tế: Tesla, câu trả lời AI công khai, 4/10/2026: lượt quét đầu tiên của Proofsource cho Tesla, 25 câu hỏi của người mua và 5 câu hỏi về thương hiệu, một câu trả lời cho mỗi câu hỏi trên mỗi công cụ trong bốn công cụ AI. Một mẫu nhỏ của một thương hiệu, đưa ra làm ví dụ, không phải chuẩn so sánh.
Xem AI bỏ sót bạn ở đâu, và cần sửa gì.
Xem câu hỏi nào của người mua nêu tên thương hiệu của bạn, ai được nêu tên thay bạn, và cần sửa gì. 200 câu trả lời. 25 Prompts/câu hỏi. Các công cụ AI hàng đầu. 2 ngày. Miễn phí. Không cần thẻ.
Google AI OverviewsGoogle AI Mode
