Một lượt lấy trang thông thường bỏ sót phần chữ chính của một trang quan trọng ở 7 trong 72 trang web
Khi ChatGPT đọc một trang cho ai đó, nó lấy HTML mà máy chủ gửi về rồi dừng. Trình đọc của Claude và crawler của Perplexity cũng vậy. Bất cứ thứ gì script viết ra sau khi tải đều không có trong những gì chúng nhận được. Vậy câu hỏi là những chữ quan trọng có nằm trong phản hồi đầu tiên đó không.
Từ ngày 5 đến 17 tháng 10 năm 2026, Proofsource kiểm tra trang chủ và tối đa bốn trang quan trọng của mỗi thương hiệu được theo dõi trong các không gian làm việc của mình. Mỗi trang được lấy hai lần: bằng crawler của chính chúng tôi, một yêu cầu thông thường không chạy script, và bằng một trình duyệt có chạy script. Chúng tôi chia phiên bản của trình duyệt thành các khối chữ và đếm tỷ lệ số chữ của nó cũng xuất hiện trong lượt lấy thông thường.
211 trang trên 72 trang web cho ra số đo dùng được. Trang trung vị đạt 95%, và 144 trong 211 trang đạt 90% trở lên. 24 trang đạt dưới một nửa.
Chúng tôi đọc thủ công phần chữ bị thiếu trên cả 24 trang. Mười hai trang, thuộc 7 trang web, đã mất phần chữ mà người mua sẽ đọc. Đó là 7 trong 72 trang web, tức 9,7% (khoảng tin cậy 95% từ 4,8% đến 18,7%).
Một nửa số trang đạt dưới 50% là báo động giả
Mười hai trang còn lại trông đáng lo nhưng không phải vậy. Ở bốn trang của một trang web, phần chữ bị thiếu là bảng đồng ý cookie. Năm trang của một trang web phần mềm lớn đạt từ 7% đến 16% vì mã hình ảnh nhúng bị đếm như chữ. Một biểu mẫu đánh giá, một bộ đếm giao dịch trực tiếp và một trình phát nhạc là phần còn lại.
Vì vậy hãy đọc các khối trước khi tin điểm số. Một con số phần trăm không phân biệt được bảng giá bị thiếu với banner cookie bị thiếu. Danh sách những gì bị thiếu thì phân biệt được.
Những gì bị mất: tiêu đề, câu chuyện khách hàng và một bảng giá
Mười hai trường hợp mất thật, đã ẩn danh:
- Ba trang chủ chỉ trả về một hoặc hai chữ. Hai trang chỉ cho lượt lấy thông thường tên công ty và không gì khác.
- Trang mục lục câu chuyện khách hàng và một câu chuyện khách hàng của một công ty phần mềm đạt 0%. Mọi trích dẫn của khách hàng đều do script viết ra.
- Trang giá của một công cụ cho lập trình viên đạt 15%. Hạn mức của gói miễn phí, điều khoản dùng thử và giới hạn các gói đều xuất hiện sau khi tải.
- Trang mục lục blog và trang liên hệ của một trang web cũng trống, cùng với trang chủ của nó.
- Danh mục tác phẩm của một nhà thiết kế mất phần tiểu sử trên trang chủ và toàn bộ danh sách dịch vụ.
- Trang chủ và trang dịch vụ của một sàn giao dịch lớn chỉ giữ lại 18% và 7%. Danh sách sản phẩm, giá và đánh giá tải sau khi trang đã tải.
Trang sản phẩm giữ tốt nhất: 1 trong 31 trang đạt dưới một nửa
Trang sản phẩm là loại an toàn nhất chúng tôi kiểm tra: 31 trang cho ra số đo, trung vị đạt 92%, và trang duy nhất dưới một nửa chỉ thiếu một biểu mẫu đánh giá. Trang chủ rủi ro nhất: 8 trong 72 trang đạt dưới một nửa, và năm trong mười hai trường hợp mất thật là trang chủ.
Google render trang. Trình đọc của ChatGPT, Claude và Perplexity thì không.
Vercel và MERJ phát hiện vào tháng 12 năm 2024 rằng không crawler AI lớn nào render JavaScript, bao gồm ba crawler của OpenAI, ClaudeBot và PerplexityBot. Gemini dùng hạ tầng của Googlebot và có render.
Một nhật ký mới hơn cho thấy điều tương tự với các trình đọc lấy trang khi có người hỏi. Forge đếm 30 ngày yêu cầu tới một trang tin tức, đến ngày 24 tháng 9 năm 2026. ChatGPT-User thực hiện 37.045 lượt đọc trang và không lấy script nào khi tải trang. Claude-User thực hiện 10.028 lượt và PerplexityBot 3.193 lượt, cũng không lấy script nào. Trong một thử nghiệm hôm sau, ChatGPT, Claude và Gemini mỗi bên chỉ báo cáo mật mã được viết trong HTML, và không báo cáo mật mã nào trong hai mật mã do script thêm vào.
Google thì khác. Tài liệu của Google nói một Chromium không giao diện sẽ render trang và Google lập chỉ mục HTML đã render, và một trang chỉ cần được lập chỉ mục và đủ điều kiện có đoạn trích là có thể xuất hiện trong AI Overviews hoặc AI Mode. Vì vậy phần chữ mà script của bạn viết ra có thể tới được câu trả lời AI của Google mà vẫn vắng mặt khi ChatGPT đọc trực tiếp cùng trang đó.
Một câu hỏi còn mở: một lập trình viên báo cáo vào ngày 30 tháng 9 rằng crawler tìm kiếm và huấn luyện của OpenAI bắt đầu render các trang trên chính các trang web Next.js của anh ấy từ ngày 25 tháng 9. OpenAI chưa thông báo điều này, và nó cũng không thay đổi những gì ChatGPT-User cho thấy ở trên.
Kiểm tra trang của chính bạn trong mười phút
Bạn không cần công cụ để xem lần đầu.
- Chọn ba câu quan trọng trên trang: tiêu đề, một mức giá, một trích dẫn của khách hàng.
- Mở mã nguồn trang (không phải trình kiểm tra phần tử, vốn hiển thị trang đã render) và tìm từng câu. Từ terminal, dùng curl lấy URL và grep tìm chúng.
- Tắt JavaScript cho trang web trong cài đặt trình duyệt và tải lại. Những gì còn lại gần giống những gì các crawler này nhận được.
- Bỏ qua banner cookie, tiện ích trò chuyện và cửa sổ bật lên bị thiếu. Đưa tiêu đề, mô tả sản phẩm, giá, câu chuyện khách hàng và FAQ vào HTML của máy chủ bằng render phía máy chủ, tạo trang tĩnh hoặc prerender.
- Nếu lượt lấy thông thường nhận mã 403 trong khi trình duyệt của bạn tải được trang, hãy kiểm tra CDN hoặc tường lửa. Bốn trang web khác đã từ chối crawler của chúng tôi theo cách đó. Chúng tôi loại chúng ra, vì một tường lửa chặn bot lạ vẫn có thể cho các crawler AI đã xác minh đi qua.
Proofsource xử lý việc này thế nào
Proofsource chạy bước kiểm tra này trên trang chủ và tối đa bốn trang quan trọng của mỗi thương hiệu được theo dõi: một lượt lấy thông thường không chạy script và tuân thủ robots.txt, đối chiếu với bản đã render của cùng trang. Nó hiển thị tỷ lệ chữ mà lượt lấy thông thường nhận được, liệt kê các khối bị thiếu cạnh các khối đã đọc được, và gợi ý cách sửa cho trang đó. Trang chủ của chính chúng tôi đạt 0% khi chúng tôi kiểm tra vào ngày 4 tháng 10. Một lượt lấy thông thường chỉ nhận được 9 trong 2.416 chữ. Trang web giờ đã được prerender, và lượt lấy thông thường trang chủ trả về phần chữ của nó.
Điều này có thể sai ở đâu
Crawler của chúng tôi không phải GPTBot. Nó tự xưng là ProofBot, và một trang web đối xử với bot theo tên có thể phục vụ crawler AI nội dung khác. Bốn trang web đã từ chối chúng tôi là trường hợp có thể thấy được.
Việc phân biệt mất thật với báo động giả là cách chúng tôi đọc thủ công các mẫu giới hạn của phần chữ bị thiếu, và chúng tôi chỉ đọc các trang đạt dưới 50%. Một trang có thể đạt 78% mà vẫn thiếu điều quan trọng: một trang chủ ở mức điểm đó đã mất các bước cách hoạt động và danh sách tích hợp. Vì vậy 7 trang web là mức sàn cho số trang mất điều quan trọng. Quy tắc chấm điểm cũng có nhiễu đã biết, như mã hình ảnh nhúng, kéo điểm xuống.
Nội dung được cá nhân hóa, như danh sách sản phẩm của sàn giao dịch, có thể khác nhau giữa các khách truy cập. Số đo của mỗi trang web là lần kiểm tra gần nhất trong khoảng 5 đến 17 tháng 10, và các trang web thay đổi. 72 trang web chủ yếu là các công ty nhỏ có không gian làm việc Proofsource, cộng với một số thương hiệu lớn hơn mà họ theo dõi, không phải mẫu ngẫu nhiên của web.
Bằng chứng bên ngoài cũng mỏng: một nghiên cứu năm 2024, nhật ký của một trang tin tức và báo cáo của một lập trình viên.
