Công cụ kiểm tra robots.txt cho crawler AI và Googlebot

Kết quả hiển thị tại đây. Không có gì được lưu, và không có mô hình AI nào tham gia: đây chỉ là việc đọc robots.txt đơn giản.

• GPTBot · OpenAI · Huấn luyện

  Thu thập trang để huấn luyện các mô hình OpenAI.

• OAI-SearchBot · OpenAI · Tìm kiếm

  Lập chỉ mục các trang để tìm kiếm ChatGPT có thể trích dẫn chúng.

• ChatGPT-User · OpenAI · Truy xuất theo yêu cầu người dùng

  Mở một trang khi người dùng ChatGPT yêu cầu.

• ClaudeBot · Anthropic · Huấn luyện

  Thu thập trang để huấn luyện các mô hình Claude.

• Claude-SearchBot · Anthropic · Tìm kiếm

  Lập chỉ mục các trang để Claude có thể trích dẫn chúng trong câu trả lời tìm kiếm.

• Claude-User · Anthropic · Truy xuất theo yêu cầu người dùng

  Mở một trang khi người dùng Claude yêu cầu.

• anthropic-ai · Anthropic · Huấn luyện

  Một token cũ của Anthropic mà nhiều tệp robots.txt vẫn còn nhắc đến.

• PerplexityBot · Perplexity · Tìm kiếm

  Lập chỉ mục các trang để Perplexity có thể trích dẫn chúng trong câu trả lời.

• Perplexity-User · Perplexity · Truy xuất theo yêu cầu người dùng

  Mở một trang khi người dùng Perplexity yêu cầu.

• Google-Extended · Google · Huấn luyện

  Quyết định việc Gemini có được huấn luyện trên các trang mà Googlebot thu thập hay không. Search không bị ảnh hưởng.

• Googlebot · Google · Tìm kiếm

  Google Search, nguồn mà AI Overviews và AI Mode dựa vào.

• Bingbot · Microsoft · Tìm kiếm

  Tìm kiếm Bing, chỉ mục mà các câu trả lời của Copilot dựa vào.

• Applebot-Extended · Apple · Huấn luyện

  Quyết định việc Apple có được huấn luyện mô hình của mình trên các trang mà Applebot thu thập hay không.

• CCBot · Common Crawl · Huấn luyện

  Xây dựng bộ dữ liệu mở Common Crawl mà nhiều mô hình dùng để huấn luyện.

• Meta-ExternalAgent · Meta · Huấn luyện

  Thu thập trang để huấn luyện các mô hình Meta AI.

• Bytespider · ByteDance · Huấn luyện

  Thu thập trang để huấn luyện các mô hình của ByteDance.

Quy tắc tuân theo RFC 9309: một crawler tuân theo các nhóm nêu tên nó, nếu không thì theo nhóm *; quy tắc khớp dài nhất sẽ thắng, và Allow thắng khi hòa. Kết luận là cho trang chủ. Crawler huấn luyện cung cấp dữ liệu cho các mô hình tương lai; crawler tìm kiếm quyết định một câu trả lời AI có thể trích dẫn bạn ngay hôm nay hay không; lượt truy xuất của người dùng xảy ra khi ai đó yêu cầu trợ lý mở trang của bạn.

robots.txt chỉ là một nửa của quyền truy cập. Cài đặt bot của CDN vẫn có thể chặn một crawler mà robots.txt cho phép, và lần kiểm tra này không thấy được điều đó; Quyền truy cập của crawler trong Proofsource yêu cầu các trang của bạn dưới danh nghĩa từng crawler để tìm ra. Đọc vì sao chặn GPTBot không loại bạn khỏi ChatGPT, kiểm tra tệp của bạn bằng công cụ kiểm tra llms.txt, hoặc bắt đầu với hướng dẫn về mức độ hiển thị trên AI.