Abbiamo confrontato 64.222 richieste di crawler di IA con gli elenchi delle aziende stesse
Le visite dei crawler di IA nei tuoi log sono vere? Un crawler si presenta con uno user agent, una riga di testo come “GPTBot/1.1”. Chiunque può inviare quella riga. OpenAI, Anthropic e Perplexity pubblicano gli indirizzi IP usati dai loro bot, e una richiesta è loro solo se nome e indirizzo corrispondono.
Sei siti hanno collegato Cloudflare a Proofsource, e nessuno è nostro. Per ogni richiesta che nominava un crawler di IA, abbiamo confrontato l’indirizzo con l’elenco pubblicato dalla sua azienda. Abbiamo preso il periodo dal 12 ottobre al 13 novembre 2026, 33 giorni, e cinque bot: GPTBot, OAI-SearchBot e ChatGPT-User di OpenAI, ClaudeBot di Anthropic e PerplexityBot. I conteggi sono stime ricavate dai dati campionati delle richieste di Cloudflare.
Il 52,9% delle richieste non ha superato il controllo, e tra i crawler GPTBot è quello che ha fallito di più
Delle 64.222 richieste che nominavano uno dei cinque bot, 33.964 venivano da un indirizzo che la sua azienda non elenca: il 52,9%. Per bot, la quota che non ha superato il controllo è stata dell’83,0% per ChatGPT-User, del 72,6% per GPTBot, del 61,0% per ClaudeBot, del 34,4% per OAI-SearchBot e del 34,1% per PerplexityBot.
Googlebot, controllato allo stesso modo con gli elenchi di Google, ha fallito nel 20,7% delle richieste sugli stessi siti. I nomi dei crawler di IA sono stati falsificati più spesso di quelli di Google, almeno qui.
Tre siti erano per lo più falsi e tre quasi puliti
La media nasconde la storia vera. Su tre siti, il 69%, l’84% e il 96% delle richieste dei crawler di IA non ha superato il controllo. Sugli altri tre, il 4%, il 5% e il 7%. Sul sito peggiore, ClaudeBot ha fatto 251 richieste verificate e 7.144 bocciate.
Quindi un unico valore di riferimento per “quanto traffico di bot di IA è falso” non dice molto. Il tuo sito potrebbe stare a uno dei due estremi, e solo un controllo del tuo traffico ti dice a quale.
200 dei 253 indirizzi bocciati si spacciavano anche per il bot di un’altra azienda
Cloudflare ci dà fino a tre indirizzi di esempio per bot, sito e giorno. Esclusi i nostri server, 253 indirizzi campionati non hanno superato il controllo dichiarandosi uno dei cinque bot. 200 di questi si sono dichiarati anche bot di un’altra azienda in un’altra richiesta, e 168 bot di tre o più aziende. Un indirizzo ha usato 12 nomi di bot diversi di nove aziende.
Nessun crawler vero lo fa. GPTBot viene dall’elenco di OpenAI e Googlebot da quello di Google. Un indirizzo che è entrambi è qualcuno che prova nomi finché uno non passa, molto spesso da server cloud in affitto.
Gli elenchi non coprono parte del traffico vero, quindi controllali tutti
Il controllo non è perfetto neanche nell’altra direzione. Claude-User, l’agente che Claude usa per leggere una pagina su cui un utente ha fatto una domanda, ha fallito nel 97,5% delle richieste su questi siti. Circa metà dei fallimenti campionati veniva da 160.79.104.0/21, un intervallo che Anthropic pubblica nella pagina degli IP della sua API come origine delle chiamate in uscita di web fetch e web search, e che non fa parte del suo elenco dei crawler.
Quelle visite sono molto probabilmente vere, e un controllo con il solo elenco dei crawler le segna come false. Per questo abbiamo lasciato Claude-User fuori dal 52,9%. Se verifichi a mano, controlla ogni intervallo che un’azienda pubblica per i suoi bot di recupero, non solo il file dei crawler.
Cosa faremmo
- Conta le visite dei crawler di IA per indirizzo verificato, non per nome. In una dashboard che conta i nomi, più di metà può essere travestimento.
- Usa l’elenco di ogni azienda: openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json, claude.com/crawling/bots.json più gli intervalli dell’API di Anthropic, e perplexity.ai/perplexitybot.json.
- Se il tuo firewall fa entrare i bot in base al nome, verifica anche l’indirizzo. La documentazione stessa di Perplexity mostra una regola di Cloudflare che abbina ogni user agent ai suoi intervalli IP.
- Non bloccare un bot per nome per colpa degli impostori. I falsi non sono il bot, e bloccare i veri OAI-SearchBot o PerplexityBot ti tiene fuori dai loro risultati di ricerca.
Come lo mostra Proofsource
Quando un sito collega Cloudflare, Proofsource confronta l’indirizzo di ogni richiesta dei crawler di IA con l’elenco pubblicato dalla sua azienda e mostra separatamente le richieste verificate e quelle bocciate per ogni bot. I bot le cui aziende non pubblicano un elenco compaiono come non verificabili invece di essere contati come veri o falsi. Il nostro controllo ha la lacuna su Claude-User descritta sopra, e ci stiamo aggiungendo gli intervalli dell’API di Anthropic.
Dove potremmo sbagliarci
Sei siti sono un campione piccolo, e hanno collegato Cloudflare a uno strumento di visibilità, quindi potrebbero non somigliare al sito medio. La differenza tra loro conta più del 52,9%.
Un elenco può essere vecchio o incompleto, come mostra Claude-User. Alcuni fallimenti di altri bot potrebbero essere traffico vero da indirizzi non ancora elencati. Gli indirizzi che si spacciano per bot di più aziende rendono la cosa improbabile per la maggior parte di essi.
Il nostro controllo dei siti invia qualche richiesta con questi nomi di bot. Al massimo 300 potrebbero cadere in questo periodo; togliendole tutte resta comunque il 52,7%.
Le richieste non sono indipendenti, e un solo scraper molto attivo può spostare il dato di un sito. Un resoconto esterno, su un solo sito nuovo per due settimane, ha trovato vere 6 su 33 visite dichiarate di assistenti di IA. È un altro sito con un altro metodo, e va nella stessa direzione.