Kiểm tra rằng crawler AI có thể truy cập trang web của bạn và đọc được nội dung trên đó.
Quyền truy cập của crawler trong Proofsource kiểm tra hai điều quyết định việc AI có thể học từ trang web của bạn hay không: GPTBot, ClaudeBot, PerplexityBot và các crawler AI khác có được cho phép vào và thực sự được phục vụ nội dung không, và trang chúng nhận được có chứa nội dung của bạn hay chỉ là một vỏ JavaScript rỗng.
| Crawler | robots.txt | Phản hồi của máy chủ |
|---|---|---|
| GPTBot (huấn luyện của OpenAI) | Được phép | Bị từ chối (403) |
| OAI-SearchBot (ChatGPT search) | Được phép | Đã phục vụ (200) |
| ChatGPT-User (duyệt web của ChatGPT) | Được phép | Đã phục vụ (200) |
| ClaudeBot (Anthropic) | Được phép | Bị từ chối (403) |
| PerplexityBot (Perplexity) | Được phép | Đã phục vụ (200) |
Kết luận cho mọi crawler AI trong robots.txt của bạn.
Proofsource đọc robots.txt của bạn và đưa ra kết luận cho mười crawler AI. Biết crawler nào làm gì là điều quan trọng: OAI-SearchBot và PerplexityBot lấy trang cho câu trả lời trực tiếp, còn GPTBot và Google-Extended quản lý dữ liệu huấn luyện, nên bạn có thể chặn huấn luyện mà không biến mất khỏi tìm kiếm AI.
- GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot và Bytespider
- Được phép hoặc không được phép, và không xác định khi không đọc được tệp, không bao giờ đoán
- Google-Extended là một token trong robots.txt, không phải một crawler riêng, và được kiểm tra như một token
| Token | Dùng cho | Kết luận |
|---|---|---|
| GPTBot | Huấn luyện mô hình của OpenAI | Không được phép |
| OAI-SearchBot | Kết quả tìm kiếm ChatGPT | Được phép |
| ClaudeBot | Crawl của Anthropic | Được phép |
| PerplexityBot | Câu trả lời của Perplexity | Được phép |
| Google-Extended | Huấn luyện Gemini và Vertex AI | Không được phép |
robots.txt là một lời đề nghị. Máy chủ quyết định ai được vào.
Một trang web có thể cho phép GPTBot trong robots.txt mà vẫn trả về lỗi 403 từ tường lửa bot của CDN. Proofsource yêu cầu trang chủ của bạn dưới danh nghĩa GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot và PerplexityBot và ghi lại những gì máy chủ của bạn thực sự trả về. Chỉ dùng công cụ kiểm tra robots.txt thì sẽ báo cáo tất cả là được cho phép.
- Đã phục vụ, bị từ chối hoặc không rõ, theo từng crawler
- Mã trạng thái mà mỗi crawler nhận được
- Phát hiện các chặn ở CDN và tường lửa mà kiểm tra robots.txt bỏ sót
GET / với tư cách GPTBot → 403 Your request was blocked.
Nguyên nhân là một thiết lập bot trên CDN, không phải robots.txt. Nếu chỉ dùng công cụ kiểm tra robots.txt, mọi crawler sẽ được báo là được phép.
Xem bot thực sự đọc được bao nhiêu phần trang của bạn.
Nhiều crawler AI đọc HTML thô và không chạy JavaScript. Proofsource so sánh số chữ trình duyệt hiển thị với số chữ trong HTML thô. Một trang hiển thị phía client có thể cho trình duyệt thấy hàng nghìn chữ nhưng bot chỉ thấy vài chục. Nếu nội dung của bạn chỉ xuất hiện sau khi JavaScript chạy, hầu hết crawler AI không bao giờ thấy nó.
- Số chữ hiển thị so với số chữ trong HTML thô, theo từng trang
- Gắn cờ các trang không có nội dung, không có H1 hoặc không có liên kết crawl được
- Kiểm tra lại sau khi bạn triển khai render phía máy chủ hoặc prerender
| Kiểm tra | Kết quả |
|---|---|
| Văn bản nội dung trong HTML | Thiếu |
| H1 trong HTML | Thiếu |
| Link mà crawler có thể theo | Không tìm thấy |
Nếu AI không đọc được bạn, AI không thể đề xuất bạn.
Tìm các chặn ngầm
Cài đặt bot của CDN có thể từ chối crawler AI mà không ai trong nhóm bạn nhận ra. Kiểm tra máy chủ sẽ cho thấy điều đó.
Làm cho chữ của bạn hiển thị được
Một trang chỉ hiển thị bằng JavaScript gần như trống trơn với hầu hết crawler AI. Kiểm tra hiển thị đo xem nó trống đến mức nào.
Chặn huấn luyện, giữ tìm kiếm
Kết luận cho từng crawler cho thấy chính xác bạn cho hệ thống AI nào vào, nên chặn huấn luyện là một lựa chọn, không phải tai nạn.
Câu hỏi người mua hay hỏi
Làm sao kiểm tra GPTBot có truy cập được trang web của tôi không?
Kiểm tra hai điều. Thứ nhất, robots.txt: không được chặn GPTBot. Thứ hai, máy chủ: yêu cầu một trang với user agent của GPTBot và xác nhận bạn nhận được 200, không phải 403 từ CDN hay tường lửa. Proofsource chạy cả hai bước kiểm tra và còn xác nhận trang có văn bản đọc được.
GPTBot và OAI-SearchBot khác nhau thế nào?
GPTBot thu thập nội dung có thể được dùng để huấn luyện mô hình của OpenAI. OAI-SearchBot lấy trang cho kết quả tìm kiếm của ChatGPT, còn ChatGPT-User lấy một trang khi cuộc trò chuyện của người dùng cần đến nó. Chặn GPTBot không loại bạn khỏi tìm kiếm của ChatGPT, nhưng chặn OAI-SearchBot thì có.
Google-Extended là gì?
Google-Extended là một token trong robots.txt, không phải một crawler riêng. Chặn nó là báo cho Google không dùng nội dung của bạn để huấn luyện mô hình Gemini và Vertex AI. Nó không ảnh hưởng đến Google Search.
Crawler AI có đọc được trang web dùng JavaScript không?
Nhiều crawler không đọc được. Một số crawler AI chỉ đọc HTML thô do máy chủ trả về và không chạy JavaScript, nên một trang hiển thị phía client có thể gần như trống với chúng. Kết xuất phía máy chủ hoặc kết xuất trước sẽ đưa nội dung vào HTML để mọi crawler đều đọc được.
Vì sao trang web của tôi lại chặn crawler AI mà tôi không hề biết?
Các nhà cung cấp CDN và bảo mật có cài đặt chặn bot, và một số chặn crawler huấn luyện AI theo mặc định hoặc chỉ bằng một công tắc. Việc chặn diễn ra ở máy chủ, nên robots.txt vẫn cho biết crawler được phép. Chỉ một yêu cầu gửi dưới danh nghĩa crawler mới cho thấy điều đó.
Tôi có thể dùng thử Proofsource miễn phí không?
Có. 200 câu trả lời. 25 Prompts/câu hỏi. Các công cụ AI hàng đầu. 2 ngày. Miễn phí. 25 câu hỏi của người mua trên ChatGPT, Perplexity, Claude và Google AI Overviews, hôm nay và ngày mai. Không cần thẻ. Sau lượt quét thứ hai, việc quét tạm dừng và các câu trả lời vẫn ở trong tài khoản của bạn.
Proofsource có giá bao nhiêu?
Một bảng giá cho tất cả: các gói bắt đầu từ 9 US$ mỗi tháng (5 câu hỏi trên ChatGPT, mỗi tuần). Mỗi thương hiệu trả phí cho mỗi ngày (28 US$ mỗi thương hiệu mỗi tháng) hoặc mỗi tuần (7 US$), cộng thêm mỗi câu hỏi trên mỗi công cụ bạn chọn. Không giới hạn thành viên trong mọi gói. Không tính phí vượt mức.
Thêm về nền tảng
Ask Proof
Một trợ lý trả lời câu hỏi về mức độ hiển thị trên AI của bạn từ chính dữ liệu của bạn, và cho thấy các truy vấn đứng sau mọi con số.Khám phá Ask Proof
Mức độ hiển thị trên AI
Tỷ lệ nhắc đến, thị phần thảo luận và vị trí trung bình trên từng công cụ AI, kèm khoảng tin cậy Wilson 95% cho mọi con số.Khám phá Mức độ hiển thị trên AI
Prompts
Các câu hỏi của người mua mà bạn theo dõi, nhóm theo chủ đề, gắn nhãn có hoặc không có tên thương hiệu, xếp theo nhu cầu tìm kiếm, kèm các lượt tìm kiếm mà từng công cụ chạy.Khám phá Prompts
Đảm bảo AI có thể đọc bạn.
Xem AI có nêu tên thương hiệu của bạn không, nêu tên ai thay bạn, và cần sửa gì. 200 câu trả lời. 25 Prompts/câu hỏi. Các công cụ AI hàng đầu. 2 ngày. Miễn phí. Không cần thẻ · không cần gọi tư vấn bán hàng.
Google AI OverviewsGoogle AI Mode
