確認 AI 爬蟲能連到您的網站，並讀取上面的內容。

Proofsource 的「爬蟲存取」會檢查決定 AI 能否從您網站學習的兩件事：GPTBot、ClaudeBot、PerplexityBot 與其他 AI 爬蟲是否被允許進入並實際取得內容，以及它們收到的頁面是包含您的文字，還是一個空的 JavaScript 外殼。

掃描我的品牌預約示範

200 則回答。25 Prompts/問題。頂尖 AI 引擎。2 天。免費。無需信用卡 · 無業務來電

Acme /網站 /爬蟲存取

示意

robots.txt全部允許允許所有 AI 爬蟲

伺服器回應5 個中有 2 個拒絕GPTBot 與 ClaudeBot 收到 403

機器人讀得到的文字38 / 2,140頁面以 JavaScript 呈現

爬蟲	robots.txt	伺服器回應
GPTBot（OpenAI 訓練）	已允許	被拒絕（403）
OAI-SearchBot（ChatGPT 搜尋）	已允許	已回應（200）
ChatGPT-User（ChatGPT 瀏覽）	已允許	已回應（200）
ClaudeBot (Anthropic)	已允許	被拒絕（403）
PerplexityBot (Perplexity)	已允許	已回應（200）

為您 robots.txt 中的每個 AI 爬蟲提供判定結果。

Proofsource 讀取您的 robots.txt，並為十個 AI 爬蟲給出判定。知道哪個爬蟲做什麼很重要：OAI-SearchBot 和 PerplexityBot 為即時回答擷取頁面，GPTBot 和 Google-Extended 則管理訓練資料，所以您可以封鎖訓練而不從 AI 搜尋中消失。

GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、PerplexityBot、Google-Extended、Applebot-Extended、CCBot 與 Bytespider
允許或禁止；無法讀取檔案時標示為未判定，絕不猜測
Google-Extended 是 robots.txt 權杖，不是獨立的爬蟲，並以此方式檢查

爬蟲存取 /robots.txt

示意

權杖	用途	結論
GPTBot	OpenAI 模型訓練	不允許
OAI-SearchBot	ChatGPT 搜尋結果	已允許
ClaudeBot	Anthropic 爬取說明	已允許
PerplexityBot	Perplexity 回答	已允許
Google-Extended	Gemini 與 Vertex AI 訓練	不允許

robots.txt 只是一項請求。由伺服器決定誰能進來。

網站可能在 robots.txt 中允許 GPTBot，卻仍由 CDN 機器人防火牆回應 403。Proofsource 會以 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot 和 PerplexityBot 的身分請求您的首頁，並記錄您的伺服器實際回傳的內容。只靠 robots.txt 檢查工具，會把每一個都回報為允許。

每個爬蟲的狀態：已回應、被拒絕或不明確
每個爬蟲收到的狀態碼
抓出 robots.txt 檢查遺漏的 CDN 與防火牆封鎖

爬蟲存取 /伺服器檢查

示意

User-agent: GPTBot · Allow: /
以 GPTBot 身分 GET / → 403 Your request was blocked.

robots.txt 說可以。邊緣節點說不行。

原因出在 CDN 的機器人設定，而不是 robots.txt。單靠 robots.txt 檢查工具，會回報每個爬蟲都被允許。

查看機器人實際能讀取您頁面的多少內容。

許多 AI 爬蟲讀取原始 HTML，不執行 JavaScript。Proofsource 會比較瀏覽器算繪出的文字與原始 HTML 中的文字。用戶端算繪的頁面在瀏覽器中可能顯示數千字，對機器人卻只有幾十個字。如果您的內容只在 JavaScript 執行後才出現，大多數 AI 爬蟲永遠看不到。

每個頁面算繪後文字與原始 HTML 文字的對比
標記沒有內文、沒有 H1 或沒有可抓取連結的頁面
上線伺服器端算繪或預先算繪後再次檢查

爬蟲存取 /機器人看到什麼

示意

瀏覽器算繪與原始 HTML 對比頁面上的文字

瀏覽器（啟用 JavaScript）2,140

原始 HTML（大多數機器人讀取的內容）38

檢查	結果
HTML 中的內文	缺席
HTML 中的 H1	缺席
爬蟲可以追蹤的連結	未找到

如果 AI 無法讀取您，就無法推薦您。

找出無聲的封鎖

CDN 的機器人設定可能在團隊沒人發現的情況下擋掉 AI 爬蟲。伺服器檢查會顯示出來。

讓您的文字看得見

只靠 JavaScript 呈現的頁面，對大多數 AI 爬蟲來說幾乎是空白的。呈現檢查會測量有多接近空白。

封鎖訓練，保留搜尋

每個爬蟲的判定結果會清楚顯示您讓哪些 AI 系統進入，所以封鎖訓練是一個選擇，而不是意外。

買家會問的問題

我要如何檢查 GPTBot 能否存取我的網站？

檢查兩件事。第一，robots.txt：不應禁止 GPTBot。第二，伺服器：以 GPTBot 的使用者代理程式請求頁面，確認您得到的是 200，而不是 CDN 或防火牆回傳的 403。Proofsource 會執行這兩項檢查，也會確認頁面含有可讀取的文字。

GPTBot 和 OAI-SearchBot 有什麼不同？

GPTBot 蒐集可能用於訓練 OpenAI 模型的內容。OAI-SearchBot 為 ChatGPT 搜尋結果抓取頁面，ChatGPT-User 則在使用者的對話需要時抓取頁面。封鎖 GPTBot 不會讓您從 ChatGPT 搜尋中消失，但封鎖 OAI-SearchBot 會。

什麼是 Google-Extended？

Google-Extended 是 robots.txt 權杖，不是獨立的爬蟲。不允許它，就是告訴 Google 不要將您的內容用於 Gemini 與 Vertex AI 的模型訓練。它不會影響 Google 搜尋。

AI 爬蟲能讀取 JavaScript 網站嗎？

許多都不能。有幾個 AI 爬蟲只讀取伺服器傳回的原始 HTML，不執行 JavaScript，所以用戶端算繪的頁面對它們來說可能幾乎是空的。伺服器端算繪或預先算繪會把文字放進 HTML，讓每個爬蟲都讀得到。

為什麼我的網站會在我不知情下封鎖 AI 爬蟲？

CDN 與資安服務供應商提供機器人封鎖設定，有些預設就會封鎖 AI 訓練爬蟲，或只要一個開關即可封鎖。封鎖發生在伺服器端，所以 robots.txt 仍然顯示允許該爬蟲。只有以該爬蟲身分發出的請求才能看出來。

我能免費試用 Proofsource 嗎？

是。200 則回答。25 Prompts/問題。頂尖 AI 引擎。2 天。免費。在 ChatGPT, Perplexity, Claude 和 Google AI Overviews 上的 25 個買家問題，今天和明天。免信用卡。第二次掃描後，掃描會暫停，您的回答會保留在帳號中。

Proofsource 要多少錢？

所有人同一張價目卡：方案每月 US$9 起（ChatGPT 上 5 個問題，每週）。每個品牌支付每天（每個品牌每月 US$28）或每週 (US$7) 的費用，另加您所選每個引擎上的每個問題。每個方案的團隊成員皆不限人數。無超額費用。

確保 AI 讀得到您。

查看 AI 是否點名您的品牌、改為點名誰，以及該修正什麼。 200 則回答。25 Prompts/問題。頂尖 AI 引擎。2 天。免費。無需信用卡 · 無業務來電.

200 則回答。25 Prompts/問題。頂尖 AI 引擎。2 天。免費。

Google AI Overviews

Google AI Mode