Met de exacte alinea in handen noemden acht tools in 60% van de gevallen de verkeerde bron
Hier is een test die makkelijk zou moeten zijn. Neem een alinea uit een gepubliceerd artikel, plak die in een AI-zoektool en vraag uit welk artikel hij komt, wie het publiceerde en wat de URL is. De tekst staat gewoon in de Prompt. Er valt niets te raden.
Het Tow Center for Digital Journalism deed precies dat in februari 2025 met acht tools: ChatGPT Search, Perplexity, Perplexity Pro, DeepSeek Search, Copilot, Grok 2, Grok 3 in bèta en Gemini. Twintig uitgevers, elk tien artikelen, 1.600 zoekopdrachten in totaal. De fragmenten waren zo gekozen dat ze, geplakt in de gewone Google-zoekfunctie, het origineel in de eerste drie resultaten opleverden.
Samen beantwoordden de tools meer dan 60% van de zoekopdrachten verkeerd. Perplexity was de beste van de groep en had er nog steeds 37% fout. Grok 3 had 94% fout. DeepSeek schreef het fragment 115 van de 200 keer aan de verkeerde bron toe.
De stelligheid is het deel om bij stil te staan. ChatGPT identificeerde 134 artikelen verkeerd en gaf in tweehonderd antwoorden vijftien keer blijk van twijfel. Het weigerde niet één keer te antwoorden.
De eigen documentatie van Perplexity zegt dat de markeringen van de Prompt afhangen en de resultatenlijst de waarheid is
Dat leest als een probleem met de kwaliteit van het model. Het is meer een architectuurprobleem, en de architectuur kun je lezen in de eigen ontwikkelaarsdocumentatie van de leveranciers.
Een webzoekopdracht via de Agent API van Perplexity komt terug als twee aparte objecten. Het ene is een search_results-item met de zoekopdrachten die draaiden en elk resultaat dat de tool ophaalde, elk met een id, een url, een titel en een snippet. Het andere is het bericht van de assistent, de antwoordtekst. De markeringen tussen haakjes die iedereen als bronvermelding behandelt, staan in die antwoordtekst, en volgens de referentiepagina van Perplexity voor de tool hangt het van de Prompt af of het model ze überhaupt toevoegt, dus je moet er expliciet om vragen. Daarna vertelt het ontwikkelaars waar ze wel op moeten bouwen: los van markeringen behandel je de velden id en url van elk search_results-item als de bron van waarheid voor bronvermeldingen.
Lees dat met de ogen van een merk. De leverancier vertelt zijn eigen ontwikkelaars dat de zichtbare bronvermelding niet gezaghebbend is en de opgehaalde set wel. Wie AI-zichtbaarheid van buitenaf meet, ziet alleen de zichtbare bronvermelding.
Dezelfde documentatie waarschuwt ertegen een model te vragen URL’s in gestructureerde uitvoer te zetten, omdat een model dat links schrijft misvormde of verzonnen links kan maken, en verwijst ontwikkelaars terug naar de zoekresultaten. Het Tow Center mat de consumentenversie van die fout. Meer dan de helft van de antwoorden van Gemini en Grok 3 bevatte verzonnen of kapotte URL’s, en 154 van de 200 bronvermeldingen van Grok 3 kwamen uit op foutpagina’s.
Een bronvermelding die het systeem extraheert, heeft tekenposities
Zet dat naast een bronvermelding die het systeem berekent in plaats van dat het model hem schrijft. De functie Citations in de Claude-API geeft voor elke bewering in het antwoord een blok terug met de exacte cited_text, de index van het document waar die vandaan komt, en een begin- en eindpositie in tekens in dat document. De documentatie zegt expliciet waarom die vorm ertoe doet: omdat de API bronvermeldingen ontleedt en cited_text direct extraheert, bevatten bronvermeldingen gegarandeerd geldige verwijzingen naar de aangeleverde documenten.
De grounding-API van Google voor Gemini is op dezelfde manier gebouwd. Een gegrond antwoord komt terug met de zoekopdrachten die het model echt uitvoerde, plus url_citation-annotaties die elk een start_index en een end_index in de antwoordtekst hebben, zodat je de exacte passage kunt markeren en de URL erachter kunt noemen.
Het mechanisme bestaat dus. Een bronvermelding die een door het systeem berekende verwijzing is, is controleerbaar. Een bronvermelding die een door het model geschreven tekst is, is een bewering, en verdient dezelfde scepsis als elke andere bewering in het antwoord. De oppervlakken die kopers echt gebruiken, tonen vooral de tweede soort.
Jouw alinea op het domein van een ander krijgt de eer
Het Tow Center vond één fout die merken harder raakt dan wie dan ook. De tools citeerden herhaaldelijk gesyndiceerde of opnieuw gepubliceerde kopieën in plaats van het origineel. Perplexity Pro citeerde bij drie van de tien zoekopdrachten opnieuw gepubliceerde versies van artikelen van de Texas Tribune, en Perplexity heeft een samenwerking met de Texas Tribune. ChatGPT citeerde een herpublicatie op Yahoo News van een artikel uit USA Today.
De versie van een merk is saaier en veel gewoner. Je vergelijkingspagina legt het echte verschil tussen twee abonnementsniveaus uit. Een overzichtsblog parafraseert het. Als iemand de categorievraag stelt, krijgt het overzicht de link, staan jouw woorden in het antwoord en staat je domein nergens op de pagina.
In onze eigen bemonstering, bij een vraag naar de beste in de categorie in de ene categorie die we testten, waren lijstjes en overzichten goed voor ongeveer 44% van de bronnen die ChatGPT citeerde. Dat is van ons en beperkt tot wat we bemonsterden. Het past wel bij de vorm van het probleem: plekken voor bronvermeldingen zijn een klein, omstreden oppervlak, en pagina’s van derden zijn er heel goed in ze te bezetten.
Tel drie bevindingen in plaats van één
Als de lijst met links een onbetrouwbare weergave is van wat de engine gebruikte, dan is één telling van bronvermeldingen het verkeerde instrument. Drie vragen zijn netjes te scheiden, en elk leidt ergens anders heen.
- Noemde het antwoord je überhaupt? Aanwezigheid in de tekst is een eigen meting, en die beweegt los van of er een link verscheen.
- Vermeldde het antwoord jou, of een pagina met jouw materiaal? Is het het tweede, dan heb je een plaatsingsprobleem, en je eigen pagina herschrijven raakt dat niet.
- Kon de engine je überhaupt bereiken? Een ontbrekende bronvermelding heeft vaak een saaie verklaring, en een controle van de toegankelijkheid voor bots beslist dat voordat iemand iets herschrijft.
Wat we eraan doen
Daarom spoort Proofsource citatiegaten en spookbronvermeldingen op in plaats van één getal te rapporteren, en daarom heeft elk datapunt een herkomstlabel: waargenomen in een antwoord, of gegenereerd. Een antwoord dat je citeert zonder naar je te linken en een antwoord dat je nooit zag, zien er in een dashboard dat links telt identiek uit.
Daarom legt de bemonstering ook de antwoordtekst vast, niet alleen de bronnenlijst. Verschijnt jouw formulering in de tekst terwijl het domein van een ander in de bronnen staat, dan is dat een bevinding, en een andere klus dan niet opgehaald worden.
Waar dit mis kan zitten
De tests van het Tow Center draaiden in februari 2025 en werden in maart gepubliceerd. Dat is achttien maanden geleden, en elk product in de set heeft sindsdien vele versies uitgebracht. Zie de 60% als bewijs dat dit soort fout echt en meetbaar is, niet als het foutpercentage van vandaag. We hebben het niet opnieuw gedraaid.
De eigen sectie met beperkingen van het onderzoek zegt dat elke zoekopdracht één keer werd gedraaid, en dat wie dezelfde Prompts opnieuw draait zeer waarschijnlijk andere uitkomsten krijgt. De nauwkeurigheid van toeschrijving is zelf een meting met ruis.
Een fragment plakken en vragen wie het schreef, is een herkomsttest, niet hoe een koper winkelt. Het zet toeschrijving rechtstreeks onder druk, en daar dient het voor, maar het vertelt je niet hoe vaak toeschrijving misgaat binnen een gewone categorievraag.
Het API-gedrag hierboven is het ontwikkelaarsoppervlak. ChatGPT, AI Overviews en de eigen website van Perplexity draaien niet gegarandeerd dezelfde code, en we redeneren vanuit gedocumenteerd ontwikkelaarsgedrag en niet van binnenuit de consumentenproducten.
En de eerlijke grens van ons eigen advies: van buitenaf kun je niet altijd een pagina die werd opgehaald en niet vermeld onderscheiden van een pagina die nooit werd opgehaald. Crawlertoegang controleren maakt het kleiner. Zoeken naar je eigen formulering in de antwoordtekst maakt het nog kleiner. Geen van beide sluit het.
