llms.txt는 에이전트를 위한 읽기 목록이지 순위 파일이 아닙니다
Jeremy Howard가 2024년 9월에 이 파일을 제안했고 2026년 8월에 개정했습니다. 사이트 루트에 두는 마크다운 파일입니다. 필수 요소는 사이트 이름이 들어간 H1 하나뿐이고, 그 뒤에 인용 블록 형식의 짧은 요약(선택)과, 에이전트가 읽어야 할 페이지로 가는 링크 목록이 옵니다. 링크 대상은 깔끔한 마크다운이면 이상적입니다.
제안은 누구를 위한 것인지 분명히 합니다. 이 파일은 에이전트가 사용자를 돕는 중 정보가 필요할 때 그때그때 읽도록 만든 것이며, 코딩 에이전트가 API 레퍼런스로 가는 길로 따라가는 소프트웨어 문서에서 가장 많이 쓰입니다. OpenAI, Anthropic, Google은 각자 개발자 문서용 파일을 게시합니다. 파일의 어떤 내용도 크롤링을 제어하지 않으며, 엔진에게 회원님을 인용해 달라고 요청하지도 않습니다.
Google은 검색이 이 파일을 무시한다고 말하며, Ahrefs의 5월 표본에서 파일의 97%는 요청을 받지 않았습니다
2026년 7월 10일 최종 업데이트된 Google의 생성형 AI 기능 가이드는 무시해도 되는 항목 목록의 첫머리에 llms.txt를 둡니다. 검색이 이를 사용하지 않으므로, 게시하더라도 Google 검색 가시성에 해도 득도 되지 않는다고 말합니다.
Ahrefs는 2026년 5월 도메인 137,210개의 서버 로그를 확인했습니다. 28%가 유효한 파일을 게시했는데, Ahrefs는 고객층이 기술 쪽으로 치우쳐 있어 이를 상한으로 봅니다. 그 파일의 97%는 그달 요청을 하나도 받지 않았습니다. 도착한 요청 중 OAI-SearchBot이나 PerplexityBot처럼 실시간 질문에 답하려고 페이지를 가져오는 봇이 보낸 것은 1.1%였습니다. Anthropic의 코딩 에이전트를 포함한 AI 에이전트와 학습용 크롤러가 훨씬 많이 가져갔습니다. 그리고 존재하지 않는 llms.txt를 요청한 AI 봇은 없었으므로, 파일이 없다고 해서 놓친 방문은 없습니다.
파일이 있는 사이트에 대한 인용 6,343건 중 파일을 가리킨 것은 하나였습니다
Ahrefs는 누가 파일을 가져가는지 측정했습니다. 저희는 반대쪽 끝, 즉 엔진이 무엇을 인용하는지 보고 싶었습니다. 2026년 8월 23일부터 10월 5일까지 저희 표본에는 18개 계정에 걸쳐 ChatGPT, Perplexity, Claude, Google AI Overviews의 답변 4,228개에서 나온 인용 41,597건이 있습니다. 10월 8일, 가장 자주 인용된 도메인 300곳에서 /llms.txt를 가져왔습니다.
129곳이 실제 파일을 돌려줬습니다. 137곳은 파일이 없거나 그 자리에 HTML 페이지를 내줬습니다. 34곳은 저희를 차단하거나 오류를 냈습니다. 파일이 있는 129곳은 6,343번 인용되었습니다. 그중 하나가 파일을 가리켰습니다. 10월 2일 Perplexity가 인용한 llms-full.txt였습니다. llms.txt를 인용한 답변은 없었습니다.
가장 많이 인용된 사이트는 대부분 파일이 없습니다. 상위 10곳 중 8곳은 파일이 없고 2곳은 저희 점검을 차단했습니다. 상위 25곳 중에서는 3곳이 파일을 가지고 있습니다.
파일 129개 중 14개는 쇼핑 에이전트를 위해 쓰인 하나의 템플릿에서 나왔습니다
모두 온라인 상점인 파일 14개가 "Agent Instructions"라는 제목의 템플릿 하나를 따랐습니다. 각 파일은 상점이 Shopify 기반이라고 밝히고, 쇼핑 에이전트에게 직접 구매할 수 있도록 스킬을 설치하라고 안내합니다. Ahrefs도 같은 흐름을 발견했습니다. Wix는 자사 사이트용으로 파일을 생성하며, 다른 사이트 빌더들도 이제 파일 유무를 확인합니다.
이것이 중요한 이유는 두 가지입니다. 많은 소유자가 파일 내용을 직접 고르지 않았습니다. 그리고 파일은 그것을 읽는 모든 에이전트에게 회원님을 대신해 말하므로, 사이트의 페이지만큼 검토할 가치가 있습니다.
저렴하다면 게시하고, 진짜 시간은 다른 곳에 쓰십시오
파일은 비용이 적고 해가 없으므로, 이미 있는 파일을 지울 이유는 없습니다. 다만 그것을 AI 가시성 작업으로 치지는 마십시오.
- 개발자 문서나 API가 있다면 게시하십시오. 데이터가 실제로 보여 주는 독자는 코딩 에이전트입니다.
- 단순한 링크와 한 줄 설명만 담고, 지시처럼 읽히는 내용은 넣지 마십시오. 버전 관리에 두고, 플랫폼이 생성한 내용은 무엇이든 읽어 보십시오.
- 그 경로에서 홈페이지가 아니라 실제 마크다운 파일이 나오는지 확인하십시오. 상위 도메인 100곳 중 7곳이 상태 200과 함께 HTML을 돌려줬습니다.
- 나머지 시간은 엔진이 회원님의 카테고리에서 인용하는 페이지에 쓰십시오. 자사 제품 및 비교 페이지, 그리고 이미 회원님 옆에서 인용되는 제3자 페이지입니다.
이 분석이 틀릴 수 있는 부분
인용은 읽기가 아닙니다. 엔진이 파일을 가져와 그 링크를 따라가 가리킨 페이지를 인용할 수도 있는데, 저희 데이터는 이를 보여 주지 않습니다. 저희는 엔진이 무엇을 봤는지가 아니라 무엇이 답변에 닿았는지를 측정했습니다.
파일은 표본 기간이 끝난 뒤인 10월 8일에 가져왔습니다. 일부는 옆에 있는 인용보다 새로울 수 있습니다.
도메인 300곳은 저희 18개 계정이 추적하는 것에서 나왔습니다. 소매, 소비자 앱, 비즈니스 소프트웨어가 섞여 있으며, 미국 밖에서 판매되는 브랜드가 많습니다. 다른 카테고리 집합은 다르게 보일 수 있습니다.
Ahrefs의 수치는 한 달, 그리고 SEO 쪽으로 치우친 고객층을 다룹니다. 에이전트가 더 많은 브라우징을 맡게 되면 가져가는 양이 늘 수 있습니다.
