修正您自己的網站， 讓 AI 能讀取並正確定位您。

每個引擎都會派出自己的機器人，您可以逐一允許或拒絕。決定您是否出現在今天回答中的，是搜尋用與使用者請求用的擷取機器人；訓練用爬蟲則決定未來的模型能學到什麼。

多數人封鎖的機器人，並不是決定他們能否出現的那一個。OpenAI 將 GPTBot 記載為訓練用爬蟲，OAI-SearchBot 則是讓網站出現在 ChatGPT 搜尋中的機器人；拒絕 OAI-SearchBot 的網站不會出現在 ChatGPT 搜尋的回答中。Anthropic 將 ClaudeBot（訓練用）與 Claude-SearchBot 和 Claude-User 分開，Perplexity 則表示 PerplexityBot 完全不用於訓練。Google 的爬蟲文件指出 Google-Extended 不影響是否收錄於 Google 搜尋，所以封鎖它對 AI Overviews 毫無作用（完整的爬蟲對照）。

常見的失誤有兩種，而且只用瀏覽器看網站都察覺不到：

• 在邊緣被封鎖。即使 robots.txt 允許，CDN 的機器人封鎖設定仍可能對 AI 爬蟲回傳錯誤。Cloudflare 於 2025 年 7 月 1 日宣布預設封鎖不付費的 AI 爬蟲。像我們免費的 AI 爬蟲檢查工具這類 robots.txt 檢查工具，會把每個機器人都顯示為允許，因為封鎖發生在伺服器端。
• JavaScript 執行前一片空白。如果文字只在指令碼執行後才出現，多數機器人看到的是空白頁或寥寥幾個字，而人看到的是好幾千字。

關於 Google 還有一點：要在 AI Overviews 或 AI Mode 中以輔助連結出現，頁面必須已被索引且可以顯示摘要。因此 nosnippet 或嚴格的 max-snippet 設定，也會讓頁面從 AI 回答中消失。

五分鐘自行檢查

以各個機器人的身分擷取一個重要頁面，檢查狀態碼與傳回的字數：

curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot" https://yoursite.com/
curl -s -o /dev/null -w "%{http_code}\n" -A "ClaudeBot" https://yoursite.com/
curl -s -A "OAI-SearchBot" https://yoursite.com/ | sed 's/<[^>]*>//g' | wc -w

如果傳回 403 或 503，就是有東西封鎖了那個機器人。如果字數遠少於頁面上看得到的內容，表示文字依賴 JavaScript。請解除 CDN 的封鎖，並以 HTML 提供主要內容。

不需要。llms.txt 是一個仍在提案階段的 markdown 檔案，為語言模型列出網站的主要頁面。Google 關於生成式 AI 功能的指南（最後更新 2026 年 7 月 10 日）表示搜尋不使用這個檔案，因此發布它對 Google 搜尋的能見度沒有害處也沒有好處；我們追蹤的引擎也都沒有表示會用 llms.txt 來排名。

以下是我們誠實的調查結果。我們從樣本中 AI 引擎最常引用的 300 個網域擷取 /llms.txt：129 個有發布，這些網站共被引用 6,343 次。只有一次引用指向該檔案，而且是 llms-full.txt，沒有任何一次指向 llms.txt。引用最多的前 10 個網域中，8 個沒有這個檔案，2 個封鎖了我們的檢查（llms.txt 研究）。Ahrefs 從另一面得到同樣的結果：在 2026 年 5 月的樣本中，97% 的檔案從未被請求過。

發布它沒有壞處，而讀取文件的代理確實會使用它。如果您仍要發布，請用 llms.txt 產生器建立，並用 llms.txt 驗證工具檢查上線的版本。