llms.txt 是給代理的閱讀清單,不是排名檔案
Jeremy Howard 在 2024 年 9 月提出這個檔案,並於 2026 年 8 月修訂。它是放在網站根目錄的 Markdown 檔案。唯一必要的部分是一個標示網站名稱的 H1;之後是選填的引言簡短摘要,以及代理應該閱讀的頁面連結清單,理想上是乾淨的 Markdown 格式。
這份提案清楚說明了它服務的對象。這個檔案是要在代理協助使用者、需要資訊時隨需讀取的,而它最常用於軟體文件,程式設計代理會依循它找到 API 參考資料。OpenAI、Anthropic 和 Google 都為自己的開發者文件發布了一份。它沒有任何內容控制抓取行為,也沒有任何內容要求引擎引用您。
Google 表示搜尋會忽略這個檔案,而在 Ahrefs 的 5 月樣本中,97% 的檔案沒有收到任何請求
Google 的生成式 AI 功能指南(最後更新於 2026 年 7 月 10 日)把 llms.txt 列在可以忽略事項清單的第一項。它表示,發布 llms.txt 既不會損害也不會幫助您在 Google 搜尋中的能見度,因為搜尋不使用它。
Ahrefs 檢查了 137,210 個網域在 2026 年 5 月的伺服器記錄。28% 發布了有效的檔案,Ahrefs 稱這是上限,因為其客戶偏向技術背景。這些檔案中有 97% 當月完全沒有收到任何請求。在確實收到的請求中,為回答即時問題而抓取頁面的機器人(例如 OAI-SearchBot 和 PerplexityBot)只占 1.1%。AI 代理(包括 Anthropic 的程式設計代理)和訓練爬蟲抓取的次數則多得多。而且沒有任何 AI 機器人請求過不存在的 llms.txt,所以沒有這個檔案並不代表錯過了誰的敲門。
在有這個檔案的網站的 6,343 次引用中,只有一次指向它
Ahrefs 測量的是誰抓取了這個檔案。我們想看的是另一端:引擎引用了什麼。我們在 2026 年 8 月 23 日至 10 月 5 日的樣本包含 18 個帳號、ChatGPT、Perplexity、Claude 和 Google AI Overviews 的 4,228 則回答中的 41,597 次引用。10 月 8 日,我們從最常被引用的 300 個網域抓取 /llms.txt。
129 個回傳了真正的檔案。137 個沒有,或在該位置提供了 HTML 頁面。34 個封鎖了我們或發生錯誤。有檔案的 129 個網站被引用 6,343 次。其中一次引用指向該檔案:一個 llms-full.txt,由 Perplexity 於 10 月 2 日引用。沒有任何回答引用 llms.txt。
被引用最多的網站大多沒有這個檔案。前十名中,八個沒有檔案,兩個封鎖了我們的檢查。前 25 名中,只有三個有。
129 個檔案中有 14 個出自同一個範本,是寫給購物代理看的
有十四個檔案全部來自線上商店,套用同一個標題為「Agent Instructions」的範本。每個檔案都說明該商店建立在 Shopify 上,並要求購物代理安裝一項技能以便直接購買。Ahrefs 也發現了同樣的趨勢:Wix 會為其網站自動產生這個檔案,其他網站建置工具現在也會檢查是否有這個檔案。
這件事有兩個重要性。許多網站擁有者從未決定自己的檔案寫了什麼。而這個檔案會代表您對任何讀取它的代理說話,所以它值得您像審閱網站頁面一樣審閱。
成本低就發布,然後把真正的時間花在別處
這個檔案成本很低也沒有壞處,所以沒有理由刪除已經有的檔案。只是不要把它算作 AI 能見度的工作。
- 如果您有開發者文件或 API,就發布一份。資料顯示真正的讀者是程式設計代理。
- 只放純連結與一行說明,不要有任何讀起來像指令的內容。將它納入版本控制,並讀一讀您的平台自動產生了什麼。
- 確認它是真正的 Markdown 檔案,而不是在該路徑上提供您的首頁。我們前 100 名網域中有七個以 200 狀態碼回傳 HTML。
- 把其餘時間花在引擎為您類別引用的頁面上:您自己的產品與比較頁面,以及已經在您旁邊被引用的第三方頁面。
可能出錯的地方
引用不等於讀取。引擎可能抓取了這個檔案、依循其中的連結,然後引用它指向的頁面,而我們的資料不會顯示這一點。我們測量的是進入回答的內容,而不是引擎看過的內容。
我們在抽樣期間結束後的 10 月 8 日才抓取這些檔案。有些檔案可能比與之並列的引用還新。
這 300 個網域來自我們 18 個帳號追蹤的範圍:零售、消費應用程式與商業軟體混合,其中許多品牌在美國以外銷售。換一組類別結果可能不同。
Ahrefs 的數據只涵蓋一個月,客戶群偏向 SEO 人員。隨著代理承擔更多瀏覽工作,抓取量可能會增加。