我們把 64,222 個 AI 爬蟲請求和業者自己公布的清單逐一比對
您記錄檔裡的 AI 爬蟲造訪是真的嗎?爬蟲會用使用者代理(user agent)表明身分,也就是像「GPTBot/1.1」這樣的一行文字。任何人都能送出這行文字。OpenAI、Anthropic 和 Perplexity 都會公布自家機器人使用的 IP 位址,只有名稱和位址相符,請求才真的是它們的。
有六個網站已將 Cloudflare 連接到 Proofsource,沒有一個是我們自己的。每個自稱 AI 爬蟲的請求,我們都拿它的位址去比對該業者公布的清單。期間是 2026 年 10 月 12 日至 11 月 13 日,共 33 天,涵蓋五個機器人:OpenAI 的 GPTBot、OAI-SearchBot 和 ChatGPT-User,Anthropic 的 ClaudeBot,以及 PerplexityBot。這些數字是根據 Cloudflare 的抽樣請求資料估算而來。
52.9% 的請求沒通過,爬蟲中以 GPTBot 最多
在 64,222 個自稱這五個機器人之一的請求中,有 33,964 個來自業者沒有列出的位址,即 52.9%。依機器人來看,沒通過的比例為 ChatGPT-User 83.0%、GPTBot 72.6%、ClaudeBot 61.0%、OAI-SearchBot 34.4%、PerplexityBot 34.1%。
Googlebot 用同樣方式比對 Google 的清單,在相同網站上有 20.7% 的請求沒通過。至少在這裡,AI 爬蟲的名稱比 Google 的更常被冒用。
三個網站大多是假的,另外三個幾乎乾淨
平均值掩蓋了真實情況。在三個網站上,沒通過檢查的 AI 爬蟲請求分別占 69%、84% 和 96%。另外三個網站則是 4%、5% 和 7%。在最嚴重的網站上,ClaudeBot 有 251 個通過驗證的請求,以及 7,144 個沒通過的請求。
所以,「AI 機器人流量有多少是假的」這種單一基準沒什麼意義。您自己的網站可能落在任何一端,只有檢查自己的流量才知道是哪一端。
253 個沒通過的位址中,有 200 個也自稱是別家公司的機器人
Cloudflare 為每個機器人、網站和日期提供最多三個抽樣位址。排除我們自己的伺服器後,有 253 個抽樣位址自稱是這五個機器人之一,卻沒通過檢查。其中 200 個在其他請求中也自稱是另一家公司的機器人,168 個自稱是三家或更多公司的機器人。有一個位址用了九家公司的 12 個不同機器人名稱。
真正的爬蟲不會這樣做。GPTBot 來自 OpenAI 的清單,Googlebot 來自 Google 的清單。一個位址同時是兩者,就是有人在輪流試名稱,直到有一個能通過,最常見的是來自租用的雲端伺服器。
清單會漏掉一些真實流量,所以每份清單都要查
這項檢查在另一個方向上也不完美。Claude-User 是 Claude 在使用者要求時用來讀取頁面的代理,它在這些網站上有 97.5% 的請求沒通過。沒通過的抽樣中約有一半來自 160.79.104.0/21,Anthropic 在其 API IP 頁面上公布這個範圍是對外網頁擷取和網頁搜尋呼叫的來源,而那並不是它的爬蟲清單。
這些造訪很可能是真的,只比對爬蟲清單就會把它們判為假的。這就是我們把 Claude-User 排除在 52.9% 之外的原因。如果您要手動驗證,請檢查業者為其擷取工具公布的每個範圍,而不只是爬蟲檔案。
我們會怎麼做
- 用通過驗證的位址來計算 AI 爬蟲造訪,而不是用名稱。依名稱計數的儀表板,可能有一半以上是偽裝。
- 使用每家業者的清單:openai.com/gptbot.json、openai.com/searchbot.json、openai.com/chatgpt-user.json、claude.com/crawling/bots.json 加上 Anthropic 的 API 範圍,以及 perplexity.ai/perplexitybot.json。
- 如果您的防火牆依名稱放行機器人,也要比對位址。Perplexity 自己的文件就示範了一條 Cloudflare 規則,把每個使用者代理和它的 IP 範圍配對。
- 別因為冒充者的行為就依名稱封鎖機器人。假的並不是那個機器人,封鎖真正的 OAI-SearchBot 或 PerplexityBot,會讓您進不了它們的搜尋結果。
Proofsource 如何呈現
網站連接 Cloudflare 後,Proofsource 會把每個 AI 爬蟲請求的位址和業者公布的清單比對,並為每個機器人分別顯示通過驗證和沒通過的請求。業者沒有公布清單的機器人會顯示為無法驗證,而不是算成真的或假的。我們的檢查有上面提到的 Claude-User 缺口,我們正在把 Anthropic 的 API 範圍加進去。
這可能出錯的地方
六個網站是很小的樣本,而且它們把 Cloudflare 連接到能見度工具,所以可能和一般網站不太一樣。網站之間的差距,比 52.9% 這個數字更重要。
清單可能過時或不完整,Claude-User 就是例子。其他機器人的部分失敗,可能是來自尚未列出位址的真實流量。但同時自稱多家公司機器人的位址,讓大多數情況不太可能是這樣。
我們自己的網站檢查會用這些機器人名稱送出少量請求。在這段期間最多可能有 300 個;即使全部移除,比例仍有 52.7%。
請求彼此並不獨立,一個忙碌的爬取程式就可能改變一個網站的數字。另一份外部報告在兩週內觀察單一個新網站,發現自稱 AI 助理的造訪中,33 個只有 6 個是真的。那是不同的網站和方法,但方向相同。