Pengambilan biasa melewatkan teks utama halaman penting di 7 dari 72 situs
Ketika ChatGPT membaca halaman untuk seseorang, ChatGPT mengambil HTML yang dikirim balik server lalu berhenti. Begitu juga pembaca Claude dan crawler Perplexity. Apa pun yang ditulis skrip setelah halaman dimuat tidak ada dalam apa yang mereka dapatkan. Jadi pertanyaannya adalah apakah kata-kata yang penting ada di respons pertama itu.
Antara 5 dan 17 Oktober 2026, Proofsource mengecek beranda dan hingga empat halaman penting setiap merek yang dilacak di ruang kerjanya. Setiap halaman diambil dua kali: oleh crawler kami sendiri, permintaan biasa yang tidak menjalankan skrip, dan oleh browser yang menjalankannya. Kami memecah versi browser menjadi blok-blok teks dan menghitung pangsa katanya yang juga muncul di pengambilan biasa.
211 halaman di 72 situs memberi pembacaan yang bisa dipakai. Halaman median mendapat skor 95%, dan 144 dari 211 mendapat skor 90% atau lebih baik. 24 halaman mendapat skor di bawah separuh.
Kami membaca teks yang hilang di ke-24 halaman itu secara manual. Dua belas di antaranya, di 7 situs, kehilangan teks yang akan dibaca pembeli. Itu 7 dari 72 situs, atau 9,7% (interval 95% 4,8% sampai 18,7%).
Separuh halaman yang mendapat skor di bawah 50% adalah alarm palsu
Dua belas lainnya terlihat mengkhawatirkan padahal tidak. Di empat halaman dari satu situs, teks yang hilang adalah panel persetujuan cookie. Lima halaman dari sebuah situs perangkat lunak besar mendapat skor antara 7% dan 16% karena kode gambar inline dihitung sebagai kata. Sebuah formulir ulasan, penghitung transaksi langsung, dan pemutar musik mengisi sisanya.
Jadi baca bloknya sebelum Anda memercayai skornya. Persentase tidak bisa membedakan tabel harga yang hilang dari banner cookie yang hilang. Daftar yang hilang bisa.
Apa yang hilang: headline, studi kasus, dan tabel harga
Dua belas kehilangan nyata, dianonimkan:
- Tiga beranda kembali dengan satu atau dua kata. Dua di antaranya hanya memberi pengambilan biasa nama perusahaannya dan tidak ada yang lain.
- Indeks studi kasus dan satu studi kasus sebuah perusahaan perangkat lunak mendapat skor 0%. Setiap kutipan pelanggan ditulis oleh skrip.
- Halaman harga sebuah alat developer mendapat skor 15%. Jatah paket gratis, ketentuan uji coba, dan batas paket semuanya baru muncul setelah halaman dimuat.
- Indeks blog dan halaman kontak satu situs juga kosong, bersama berandanya.
- Portofolio seorang desainer kehilangan bio di berandanya dan seluruh daftar layanannya.
- Beranda dan halaman layanan sebuah marketplace besar hanya menyisakan 18% dan 7%. Listing, harga, dan rating dimuat setelah halaman dimuat.
Halaman produk paling bertahan: 1 dari 31 mendapat skor di bawah separuh
Halaman produk adalah jenis yang paling aman yang kami cek: 31 memberi pembacaan, mediannya mendapat skor 92%, dan satu-satunya yang di bawah separuh hanya kehilangan formulir ulasan. Beranda adalah yang paling berisiko: 8 dari 72 mendapat skor di bawah separuh, dan lima dari dua belas kehilangan nyata adalah beranda.
Google merender halamannya. Pembaca ChatGPT, Claude, dan Perplexity tidak.
Vercel dan MERJ menemukan pada Desember 2024 bahwa tidak satu pun crawler AI utama merender JavaScript, termasuk tiga milik OpenAI, ClaudeBot, dan PerplexityBot. Gemini menggunakan infrastruktur Googlebot dan merendernya.
Log yang lebih baru mengatakan hal yang sama tentang pembaca yang mengambil halaman ketika seseorang bertanya. Forge menghitung 30 hari permintaan ke sebuah situs berita, hingga 24 September 2026. ChatGPT-User melakukan 37.045 pembacaan halaman dan tidak mengambil skrip apa pun saat memuat halaman. Claude-User melakukan 10.028 dan PerplexityBot 3.193, juga tanpa skrip. Dalam tes keesokan harinya, ChatGPT, Claude, dan Gemini masing-masing hanya melaporkan kata kode yang ditulis di HTML, dan tidak satu pun dari dua kata yang ditambahkan skrip.
Google berbeda. Dokumentasinya menyatakan Chromium headless merender halaman dan Google mengindeks HTML yang sudah dirender, dan sebuah halaman hanya perlu terindeks dan memenuhi syarat untuk cuplikan agar muncul di AI Overviews atau AI Mode. Jadi teks yang ditulis skrip Anda bisa mencapai jawaban AI Google dan tetap hilang ketika ChatGPT membaca halaman yang sama secara langsung.
Satu pertanyaan terbuka: seorang developer melaporkan pada 30 September bahwa crawler pencarian dan pelatihan OpenAI mulai merender halaman di situs Next.js miliknya sejak 25 September. OpenAI belum mengumumkannya, dan itu tidak akan mengubah apa yang ditunjukkan ChatGPT-User di atas.
Cek halaman Anda sendiri dalam sepuluh menit
Anda tidak butuh alat untuk pandangan pertama.
- Pilih tiga kalimat yang penting di halaman: headline, harga, kutipan pelanggan.
- Buka sumber halaman (bukan element inspector, yang menampilkan halaman yang sudah dirender) dan cari masing-masing. Dari terminal, jalankan curl pada URL-nya dan grep kalimat-kalimat itu.
- Matikan JavaScript untuk situs itu di pengaturan browser Anda lalu muat ulang. Yang tersisa kira-kira adalah apa yang didapat crawler-crawler ini.
- Abaikan banner cookie, widget chat, dan pop-up yang hilang. Pindahkan headline, deskripsi produk, harga, studi kasus, dan FAQ ke HTML server dengan server rendering, static generation, atau prerendering.
- Jika pengambilan biasa mendapat 403 sementara browser Anda memuat halamannya, cek CDN atau firewall Anda. Empat situs lain menolak crawler kami dengan cara itu. Kami mengecualikannya, karena firewall yang memblokir bot tak dikenal mungkin tetap mengizinkan crawler AI yang terverifikasi.
Cara Proofsource menanganinya
Proofsource menjalankan pengecekan ini pada beranda dan hingga empat halaman penting setiap merek yang dilacak: pengambilan biasa yang tidak menjalankan skrip dan mematuhi robots.txt, dibandingkan dengan salinan halaman yang sama yang sudah dirender. Proofsource menampilkan pangsa kata yang didapat pengambilan biasa, mencantumkan blok yang hilang di samping yang terbaca, dan menyarankan perbaikan untuk halaman itu. Beranda kami sendiri mendapat skor 0% ketika kami mengeceknya pada 4 Oktober. Pengambilan biasa hanya mendapat 9 dari 2.416 katanya. Situsnya kini di-prerender, dan pengambilan biasa atas beranda mengembalikan teksnya.
Di mana ini bisa salah
Crawler kami bukan GPTBot. Crawler kami mengidentifikasi diri sebagai ProofBot, dan situs yang memperlakukan bot berdasarkan namanya bisa menyajikan sesuatu yang berbeda kepada crawler AI. Empat situs yang menolak kami adalah kasus yang terlihat.
Pemisahan antara kehilangan nyata dan alarm palsu adalah pembacaan manual kami atas sampel terbatas teks yang hilang, dan kami hanya membaca halaman yang mendapat skor di bawah 50%. Sebuah halaman bisa mendapat skor 78% dan tetap kehilangan sesuatu yang penting: satu beranda dengan skor itu kehilangan langkah cara kerjanya dan daftar integrasinya. Jadi 7 situs adalah batas bawah untuk halaman yang kehilangan sesuatu yang penting. Aturan penilaiannya juga punya gangguan yang diketahui, seperti kode gambar inline, yang menurunkan skor.
Konten yang dipersonalisasi, seperti listing marketplace, bisa berbeda antarpengunjung. Pembacaan setiap situs adalah pengecekan terakhirnya antara 5 dan 17 Oktober, dan situs berubah. 72 situs itu sebagian besar perusahaan kecil dengan ruang kerja Proofsource, ditambah beberapa merek besar yang mereka lacak, bukan sampel acak dari web.
Bukti dari luar juga tipis: satu studi 2024, log satu situs berita, dan laporan satu developer.
