Abbiamo controllato 199 siti nel robots.txt e sul server
Come faccio a sapere quali crawler di IA blocca il mio sito? Quasi tutti gli strumenti di controllo, compreso il nostro gratuito, leggono il robots.txt e si fermano lì. Lo standard che regola il file, la RFC 9309, è netto sui suoi limiti: “Queste regole non sono una forma di autorizzazione all’accesso.” Una regola chiede a un crawler di restare fuori. Se una richiesta ottiene la pagina lo decidono il tuo server, la tua CDN e il tuo firewall.
Proofsource analizza il sito di ogni brand che monitora. Per ogni sito abbiamo preso l’ultima analisi tra il 5 ottobre e il 20 novembre 2026: 199 siti, esclusi i nostri domini e quelli di test. Ogni analisi legge il robots.txt per ogni crawler di IA, poi chiede la homepage una volta per crawler, inviando lo User-Agent pubblicato da quel crawler. Registra se il server ha servito la pagina o ha risposto con 401, 403, 429 o una verifica anti-bot.
I server hanno respinto GPTBot su 32 siti, il robots.txt l’ha bloccato su 12
Il server ha respinto una richiesta che si presentava come GPTBot su 32 dei 199 siti: il 16,1% (dall’11,6% al 21,8%). Il robots.txt vietava GPTBot su 12 (6,0%).
Su 21 di quei 32 siti, il robots.txt autorizzava tutti i crawler di IA per cui l’abbiamo letto. Un controllo del solo file avrebbe detto a tutti e 21 che erano aperti all’IA.
Una volta è successo il contrario. Un sito vietava GPTBot nel robots.txt, e il suo server ha servito la pagina lo stesso. Il file resta una richiesta, in entrambe le direzioni.
La maggior parte dei blocchi lato server colpiva i crawler di addestramento e risparmiava la ricerca
Su 20 siti il server ha respinto GPTBot ma ha servito OAI-SearchBot e ChatGPT-User, e 15 di questi respingevano anche ClaudeBot. Sembra una scelta. La documentazione di OpenAI sui suoi crawler li tratta come impostazioni separate: GPTBot raccoglie dati di addestramento, OAI-SearchBot trova le pagine da mostrare nella ricerca di ChatGPT. Respingere il primo non ti toglie dalla seconda.
13 siti respingevano i crawler che portano le pagine nelle risposte
Per essere citati, i crawler che contano sono gli agenti di ricerca e quelli che agiscono per un utente. 13 siti (6,5%) hanno respinto almeno uno tra OAI-SearchBot, ChatGPT-User e PerplexityBot. Il robots.txt li vietava solo su uno di quei 13.
10 siti hanno respinto tutti i crawler di IA che abbiamo inviato. 7 di quei 10 hanno risposto con una verifica anti-bot di Cloudflare invece che con una semplice pagina di errore. OpenAI dice che un sito che esclude OAI-SearchBot non comparirà nelle risposte della ricerca di ChatGPT, e chiede ai siti che vogliono comparire di autorizzare i suoi intervalli di indirizzi IP pubblicati, oltre al suo nome nel robots.txt.
Alcuni di questi blocchi probabilmente non li ha mai scritti nessuno a mano
Cloudflare ha aggiunto a settembre 2024 un’opzione per bloccare i crawler di IA con un clic e dice che più di un milione di clienti l’ha attivata. Dal 1° luglio 2025 chiede a ogni nuovo dominio, al momento dell’iscrizione, se vuole autorizzare i crawler di IA. Un’impostazione scelta una volta in una dashboard, o da chi ha configurato l’account, non compare nel robots.txt. Se un crawler viene respinto e nessuno nel tuo team ricorda di averlo deciso, guarda prima lì.
Controlla entrambi in dieci minuti
- Leggi prima il robots.txt per i crawler delle risposte: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Poi decidi a parte per i crawler di addestramento, GPTBot e ClaudeBot.
- Chiedi la tua homepage con curl, impostando come User-Agent il nome di ogni crawler. Un 403, un 429 o una pagina di verifica anti-bot vuol dire che il server l’ha respinto, qualunque cosa dica il robots.txt.
- Apri le impostazioni della tua CDN per i bot e i crawler di IA e leggi come è impostato ciascuno. Su Cloudflare, controlla sia i controlli dei crawler di IA sia qualsiasi regola che blocca i bot di IA.
- Se il tuo firewall lascia passare solo i bot verificati, assicurati che gli intervalli di indirizzi IP pubblicati dalle aziende di IA siano nella sua lista di autorizzazioni, poi cerca nei log i 403 dati a quei crawler.
Come lo controlla Proofsource
Ogni analisi del sito di Proofsource legge il robots.txt per ogni crawler di IA e chiede la tua homepage presentandosi come ciascuno di loro. Quando il robots.txt autorizza un crawler e il server lo respinge, la prima scansione lo segnala su una riga a sé, con l’impostazione da cambiare.
Dove potremmo sbagliare
Le nostre richieste partivano dai nostri server, non da quelli di OpenAI, Anthropic o Perplexity. Un firewall che controlla da dove arriva una richiesta può respingere la nostra e servire comunque il vero crawler. Vale soprattutto per le verifiche anti-bot. Considera un rifiuto un motivo per aprire le impostazioni della CDN, non una prova che ChatGPT non può leggerti.
Una richiesta per crawler, solo alla homepage, in un singolo momento. 5 dei rifiuti erano limiti di frequenza 429, che possono essere passeggeri. Altre pagine possono avere altre regole.
199 siti di brand monitorati in Proofsource, che non sono un campione casuale del web. Le prime analisi inviavano cinque crawler e quelle successive otto, quindi i numeri per Claude-SearchBot, Claude-User e Perplexity-User riguardano 189 siti. Non abbiamo visto i log dei siti, quindi non possiamo dire come sono state trattate le visite dei crawler veri.