llms.txt is een leeslijst voor agents, geen rankingbestand
Jeremy Howard stelde het bestand voor in september 2024 en herzag het in augustus 2026. Het is een markdownbestand in de root van een site. Het enige verplichte deel is een H1 met de naam van de site; daarna volgen een optionele korte samenvatting in een blockquote en lijsten met links naar de pagina’s die een agent zou moeten lezen, bij voorkeur als schone markdown.
Het voorstel is duidelijk over wie het dient. Het bestand is bedoeld om op verzoek te worden gelezen, als een agent informatie nodig heeft terwijl hij een gebruiker helpt, en het wordt het meest gebruikt voor softwaredocumentatie, waar codeeragents het volgen naar API-referenties. OpenAI, Anthropic en Google publiceren er elk een voor hun documentatie voor ontwikkelaars. Niets erin regelt crawlen, en niets erin vraagt een engine je te citeren.
Google zegt dat Zoeken het bestand negeert, en 97% van de bestanden kreeg in de meisteekproef van Ahrefs geen verzoeken
De gids van Google over zijn functies voor generatieve AI, laatst bijgewerkt op 10 juli 2026, zet llms.txt bovenaan een lijst met dingen die je kunt negeren. Er een publiceren, staat er, zal je zichtbaarheid in Google Zoeken niet schaden en niet helpen, omdat Zoeken het niet gebruikt.
Ahrefs controleerde de serverlogs van 137.210 domeinen over mei 2026. 28% publiceerde een geldig bestand, wat Ahrefs een bovengrens noemt omdat de klanten technisch zijn ingesteld. 97% van die bestanden kreeg die maand helemaal geen verzoeken. Van de verzoeken die wel binnenkwamen, stuurden de bots die pagina’s ophalen om live vragen te beantwoorden, zoals OAI-SearchBot en PerplexityBot, 1,1%. AI-agents, waaronder de codeeragent van Anthropic, en trainingscrawlers haalden veel meer op. En geen enkele AI-bot vroeg een llms.txt op die niet bestond, dus een ontbrekend bestand is geen gemiste klop op de deur.
Van 6.343 bronvermeldingen naar sites met een bestand, wees er één naar het bestand
Ahrefs mat wie het bestand ophaalt. Wij wilden de andere kant: wat de engines citeren. Onze steekproeven van 23 augustus tot en met 5 oktober 2026 bevatten 41.597 bronvermeldingen in 4.228 antwoorden van ChatGPT, Perplexity, Claude en Google AI Overviews, uit 18 accounts. Op 8 oktober haalden we /llms.txt op van de 300 domeinen die het vaakst werden geciteerd.
129 gaven een echt bestand terug. 137 hadden er geen, of serveerden in plaats daarvan een HTML-pagina. 34 blokkeerden ons of gaven een fout. De 129 sites met een bestand werden 6.343 keer geciteerd. Eén van die bronvermeldingen wees naar het bestand: een llms-full.txt, geciteerd door Perplexity op 2 oktober. Geen enkel antwoord citeerde een llms.txt.
De meest geciteerde sites hebben er meestal geen. Van de top tien hebben er acht geen bestand en blokkeerden er twee onze controle. Van de top 25 hebben er drie een.
14 van de 129 bestanden kwamen uit één sjabloon, geschreven voor shoppingagents
Veertien bestanden, allemaal van webwinkels, volgden één sjabloon met de kop “Agent Instructions”. Elk zegt dat de winkel op Shopify draait en vraagt shoppingagents een skill te installeren zodat ze direct kunnen kopen. Ahrefs zag dezelfde trend: Wix genereert het bestand voor zijn sites, en andere sitebouwers controleren er nu op.
Dat doet om twee redenen ertoe. Veel eigenaren kozen nooit wat hun bestand zegt. En het bestand spreekt namens jou tegen elke agent die het leest, dus het verdient de controle die je een pagina op je site zou geven.
Publiceer het als het goedkoop is, en besteed het echte uur ergens anders aan
Het bestand kost weinig en kan geen kwaad, dus er is geen reden om er een te verwijderen die je al hebt. Tel het alleen niet als werk aan AI-zichtbaarheid.
- Heb je documentatie voor ontwikkelaars of een API, publiceer er dan een. Codeeragents zijn de lezers die de data echt laat zien.
- Houd het bij gewone links en beschrijvingen van één regel, zonder iets wat als instructie leest. Zet het in versiebeheer en lees wat je platform heeft gegenereerd.
- Controleer of het een echt markdownbestand is en niet je homepage die op dat pad wordt geserveerd. Zeven van onze top 100-domeinen gaven HTML terug met status 200.
- Besteed de rest van de tijd aan de pagina’s die engines voor je categorie citeren: je eigen product- en vergelijkingspagina’s, en de pagina’s van derden die al naast je worden geciteerd.
Waar dit mis kan zitten
Een bronvermelding is geen leesactie. Een engine kan het bestand ophalen, de links volgen en de pagina citeren waarnaar het wees, en onze data zou dat niet laten zien. We maten wat het antwoord bereikte, niet waar de engine naar keek.
We haalden de bestanden op 8 oktober op, nadat het steekproefvenster was gesloten. Sommige kunnen nieuwer zijn dan de bronvermeldingen ernaast.
De 300 domeinen komen uit wat onze 18 accounts volgen: een mix van retail, consumentenapps en zakelijke software, met veel merken die buiten de VS verkopen. Een andere set categorieën kan er anders uitzien.
De cijfers van Ahrefs beslaan één maand en een klantenbestand dat naar SEO neigt. Het aantal ophaalacties kan groeien naarmate agents meer gaan browsen.
