Een gewone fetch miste de hoofdtekst van een belangrijke pagina op 7 van de 72 sites
Als ChatGPT een pagina voor iemand leest, neemt het de HTML die de server terugstuurt en stopt daar. De lezer van Claude en de crawler van Perplexity doen hetzelfde. Wat een script na het laden schrijft, zit niet in wat ze krijgen. De vraag is dus of de woorden die ertoe doen in dat eerste antwoord staan.
Tussen 5 en 17 oktober 2026 controleerde Proofsource de homepage en tot vier belangrijke pagina’s van elk merk dat in zijn werkruimtes werd gevolgd. Elke pagina werd twee keer opgehaald: door onze eigen crawler, een gewoon verzoek dat geen scripts uitvoert, en door een browser die dat wel doet. We splitsten de browserversie op in tekstblokken en telden welk deel van de woorden ook in de gewone fetch voorkwam.
211 pagina’s op 72 sites gaven een bruikbare meting. De mediaanpagina scoorde 95%, en 144 van de 211 scoorden 90% of beter. 24 pagina’s scoorden onder de helft.
We lazen de ontbrekende tekst op alle 24 met de hand. Twaalf ervan, op 7 sites, hadden tekst verloren die een koper zou lezen. Dat is 7 van 72 sites, of 9,7% (95%-interval 4,8% tot 18,7%).
De helft van de pagina’s onder 50% was vals alarm
De andere twaalf zagen er alarmerend uit en waren het niet. Op vier pagina’s van één site was de ontbrekende tekst een paneel voor cookietoestemming. Vijf pagina’s van een grote softwaresite scoorden tussen 7% en 16% omdat inline afbeeldingscode als woorden werd geteld. Een reviewformulier, een live transactieteller en een muziekspeler vormden de rest.
Lees dus de blokken voordat je de score vertrouwt. Een percentage kan een ontbrekende prijstabel niet onderscheiden van een ontbrekende cookiebanner. De lijst met wat ontbreekt wel.
Wat ontbrak: koppen, klantcases en een prijstabel
De twaalf echte verliezen, geanonimiseerd:
- Drie homepages kwamen terug met één of twee woorden. Twee gaven de gewone fetch de bedrijfsnaam en verder niets.
- Het overzicht van klantcases van een softwarebedrijf en één klantcase scoorden 0%. Elke klantquote werd door een script geschreven.
- De prijspagina van een developertool scoorde 15%. Wat het gratis abonnement bevat, de voorwaarden van de proefperiode en de limieten van de abonnementen kwamen allemaal na het laden.
- Het blogoverzicht en de contactpagina van één site waren ook leeg, net als de homepage.
- Het portfolio van een ontwerper verloor de bio op de homepage en de hele lijst met diensten.
- De homepage en de dienstenpagina van een grote marktplaats hielden 18% en 7% over. De aanbiedingen, prijzen en beoordelingen laden na de pagina.
Productpagina’s hielden het best stand: 1 van de 31 scoorde onder de helft
Productpagina’s waren het veiligste type dat we controleerden: 31 gaven een meting, de mediaan scoorde 92%, en de ene onder de helft miste alleen een reviewformulier. Homepages waren het riskantst: 8 van de 72 scoorden onder de helft, en vijf van de twaalf echte verliezen waren homepages.
Google rendert de pagina. De lezer van ChatGPT, Claude en Perplexity doen dat niet.
Vercel en MERJ stelden in december 2024 vast dat geen van de grote AI-crawlers JavaScript renderde, ook de drie van OpenAI, ClaudeBot en PerplexityBot niet. Gemini gebruikte de infrastructuur van Googlebot en deed dat wel.
Een recenter log zegt hetzelfde over de lezers die een pagina ophalen als iemand iets vraagt. Forge telde 30 dagen aan verzoeken naar een nieuwssite, tot 24 september 2026. ChatGPT-User las 37.045 pagina’s en haalde bij het laden van een pagina geen enkel script op. Claude-User las er 10.028 en PerplexityBot 3.193, ook zonder scripts. In een test de dag erna meldden ChatGPT, Claude en Gemini elk alleen het codewoord dat in de HTML stond, en geen van de twee die een script toevoegde.
Google is anders. Volgens de documentatie rendert een headless Chromium de pagina en indexeert Google de gerenderde HTML, en een pagina hoeft alleen geïndexeerd en geschikt voor een snippet te zijn om in AI Overviews of AI Mode te verschijnen. Tekst die je scripts schrijven, kan dus de AI-antwoorden van Google halen en toch ontbreken als ChatGPT dezelfde pagina live leest.
Eén open vraag: een ontwikkelaar meldde op 30 september dat de zoek- en trainingscrawlers van OpenAI vanaf 25 september pagina’s op zijn eigen Next.js-sites begonnen te renderen. OpenAI heeft dat niet aangekondigd, en het zou niets veranderen aan wat ChatGPT-User hierboven liet zien.
Controleer je eigen pagina’s in tien minuten
Voor een eerste blik heb je geen tool nodig.
- Kies drie zinnen die ertoe doen op de pagina: de kop, een prijs, een klantquote.
- Open de paginabron (niet de elementinspector, die de gerenderde pagina toont) en zoek naar elke zin. Haal vanuit een terminal de URL op met curl en zoek ze met grep.
- Zet JavaScript voor de site uit in je browserinstellingen en laad opnieuw. Wat overblijft, is ongeveer wat deze crawlers krijgen.
- Negeer ontbrekende cookiebanners, chatwidgets en pop-ups. Zet koppen, productbeschrijvingen, prijzen, klantcases en veelgestelde vragen in de HTML van de server met server-side rendering, statische generatie of prerendering.
- Krijgt een gewone fetch een 403 terwijl je browser de pagina laadt, controleer dan je CDN of firewall. Nog vier sites weigerden onze crawler op die manier. We lieten ze weg, omdat een firewall die een onbekende bot blokkeert geverifieerde AI-crawlers misschien wel doorlaat.
Hoe Proofsource dit aanpakt
Proofsource voert deze controle uit op de homepage en tot vier belangrijke pagina’s van elk gevolgd merk: een gewone fetch die geen scripts uitvoert en robots.txt respecteert, tegenover een gerenderde kopie van dezelfde pagina. Het toont welk deel van de woorden de gewone fetch kreeg, zet de ontbrekende blokken naast de gelezen blokken en stelt verbeteringen voor die pagina voor. Onze eigen homepage scoorde 0% toen we hem op 4 oktober controleerden. Een gewone fetch kreeg 9 van de 2.416 woorden. De site wordt nu geprerenderd, en een gewone fetch van de homepage levert de tekst op.
Waar dit mis kan zitten
Onze crawler is GPTBot niet. Hij identificeert zich als ProofBot, en een site die bots op naam behandelt, kan AI-crawlers iets anders serveren. De vier sites die ons weigerden, zijn het zichtbare geval.
Het onderscheid tussen echte verliezen en vals alarm is onze handmatige lezing van beperkte steekproeven van de ontbrekende tekst, en we lazen alleen pagina’s die onder 50% scoorden. Een pagina kan 78% scoren en toch iets belangrijks missen: één homepage met die score had de stappen van hoe het werkt en de lijst met integraties verloren. 7 sites is dus een ondergrens voor pagina’s die iets belangrijks verloren. De scoreregel heeft ook bekende ruis, zoals de inline afbeeldingscode, die scores omlaag trekt.
Gepersonaliseerde inhoud, zoals de aanbiedingen van de marktplaats, kan per bezoeker verschillen. De meting van elke site is de laatste controle tussen 5 en 17 oktober, en sites veranderen. De 72 sites zijn vooral kleine bedrijven met een Proofsource-werkruimte, plus enkele grotere merken die ze volgen, geen willekeurige steekproef van het web.
Het externe bewijs is ook mager: een onderzoek uit 2024, het log van één nieuwssite en het verslag van één ontwikkelaar.
