CCBot là gì?
CCBot là crawler web của Common Crawl, một tổ chức phi lợi nhuận công bố bản sao miễn phí, mở của web mà các nhà nghiên cứu và nhà phát triển AI dùng làm dữ liệu huấn luyện. CCBot không phải là crawler của một công ty AI, nhưng kho lưu trữ của nó cung cấp dữ liệu cho nhiều mô hình AI. Common Crawl công bố bản sao web của mình miễn phí, nên chặn CCBot là một quyết định về các bộ dữ liệu mở mà giới nghiên cứu và nhà phát triển AI dùng để huấn luyện.
Common Crawl là gì, và CCBot làm gì?
Common Crawl tự mô tả là một tổ chức phi lợi nhuận 501(c)(3) chuyên cung cấp miễn phí một bản sao của internet cho các nhà nghiên cứu, công ty và cá nhân; CCBot là crawler thu thập bản sao đó (Câu hỏi thường gặp của Common Crawl, đọc ngày 15 tháng 10 năm 2026).
Dữ liệu của nó đến với các mô hình AI thông qua những nhà phát triển sử dụng nó. Chẳng hạn, bài báo GPT-3 của OpenAI liệt kê một phiên bản Common Crawl đã lọc là phần lớn nhất trong tập dữ liệu huấn luyện của mô hình đó (Language Models are Few-Shot Learners, 28 tháng 5 năm 2020).
CCBot hoạt động thế nào?
Common Crawl mô tả các quy tắc của crawler này:
- Nó kiểm tra robots.txt và chỉ tải một trang nếu được phép thu thập.
- Nó tuân thủ Crawl-delay; Crawl-delay: 2 giới hạn nó ở một yêu cầu mỗi 2 giây.
- Nó tôn trọng nofollow trên liên kết khi khám phá liên kết.
- Nó kiểm tra lại robots.txt định kỳ, nên một lệnh chặn mới sẽ có hiệu lực ở các lượt truy cập sau.
- Nó chạy trên các dải IP riêng có reverse DNS, được công bố dưới dạng JSON để xác minh.
Làm sao chặn hoặc xác minh CCBot?
Thêm một nhóm cho CCBot vào robots.txt. Chuỗi user-agent của nó là CCBot/2.0 (https://commoncrawl.org/faq/), và Common Crawl cung cấp một hostname reverse DNS dưới crawl.commoncrawl.org để xác minh một yêu cầu (CCBot).
# Không cho nội dung vào kho lưu trữ mở của Common Crawl
User-agent: CCBot
Disallow: /Chặn CCBot thay đổi điều gì, trong một ví dụ thực tế?
Nó thay đổi các bộ dữ liệu mở trong tương lai, không phải câu trả lời hôm nay. Trong ví dụ công khai về Tesla (4 tháng 10 năm 2026), Claude trả lời "Tesla là gì?" và "Tesla có uy tín không?" từ những gì mô hình đã biết, không trích dẫn nguồn nào: trí nhớ đó đến từ dữ liệu huấn luyện được thu thập từ rất lâu trước đó.
Với các câu hỏi của người mua, cùng những công cụ đó đã trích dẫn 455 website khác nhau, được đọc vào lúc trả lời bởi chính crawler tìm kiếm và fetcher của chúng. Một quy tắc CCBot không chạm đến con đường trực tiếp nào trong số đó; các agent tìm kiếm và agent người dùng mới làm vậy.
Làm sao kiểm tra quy tắc CCBot của bạn?
Đọc robots.txt đang chạy trên mọi host để tìm nhóm CCBot, và quyết định nó cùng lúc với các crawler huấn luyện AI. Công cụ kiểm tra crawler AI miễn phí đọc robots.txt đang chạy của bạn, và Quyền truy cập của crawler trong Proofsource theo dõi nó theo thời gian.
Câu hỏi thường gặp về CCBot
Chặn CCBot có loại các trang của tôi khỏi câu trả lời AI không?
Không. Các câu trả lời AI có tìm kiếm dùng crawler và fetcher riêng của từng công cụ. CCBot chỉ ảnh hưởng đến kho lưu trữ tương lai của Common Crawl.
Chặn CCBot có xóa nội dung của tôi khỏi các bộ dữ liệu hiện có không?
Tài liệu của Common Crawl mô tả cách CCBot ngừng thu thập một website bị chặn. Tài liệu không nói các kho lưu trữ trước đây bị thay đổi, nên hãy giả định những gì đã thu thập vẫn còn.
CCBot có phải là crawler của một công ty AI không?
Không. Common Crawl là một tổ chức phi lợi nhuận công bố kho lưu trữ cho bất kỳ ai. Các nhà phát triển AI nằm trong số nhiều người dùng dữ liệu đó.
CCBot có tuân thủ Crawl-delay không?
Có. Common Crawl cho biết nó tuân thủ tham số Crawl-delay trong robots.txt.
Thuật ngữ liên quan
- GPTBot
GPTBot là crawler web của OpenAI dùng để thu thập nội dung có thể được dùng để huấn luyện các mô hình nền tảng AI tạo sinh của OpenAI.
- ClaudeBot
ClaudeBot là crawler web của Anthropic, thu thập nội dung web có thể góp phần huấn luyện các mô hình Claude của Anthropic.
- Applebot-Extended
Applebot-Extended là một token robots.txt cho phép website từ chối việc Apple dùng nội dung của mình để huấn luyện các mô hình nền tảng của Apple, và bản thân nó không thu thập dữ liệu gì.
- robots.txt
robots.txt là một tệp văn bản thuần ở thư mục gốc của website, cho các crawler biết những đường dẫn nào chúng được phép tải, theo Robots Exclusion Protocol (RFC 9309).
Ví dụ thực tế: Tesla, câu trả lời AI công khai, 4/10/2026: lượt quét đầu tiên của Proofsource cho Tesla, 25 câu hỏi của người mua và 5 câu hỏi về thương hiệu, một câu trả lời cho mỗi câu hỏi trên mỗi công cụ trong bốn công cụ AI. Một mẫu nhỏ của một thương hiệu, đưa ra làm ví dụ, không phải chuẩn so sánh.
Xem AI bỏ sót bạn ở đâu, và cần sửa gì.
Xem câu hỏi nào của người mua nêu tên thương hiệu của bạn, ai được nêu tên thay bạn, và cần sửa gì. 200 câu trả lời. 25 Prompts/câu hỏi. Các công cụ AI hàng đầu. 2 ngày. Miễn phí. Không cần thẻ.
Google AI OverviewsGoogle AI Mode
