Note dal campo4 min di lettura

Su 21 dei 32 siti il cui server respingeva i crawler di IA, il robots.txt li autorizzava

Un controllo del robots.txt legge il file e si ferma lì. A decidere se un crawler ottiene davvero la pagina sono il server, la CDN e il firewall, e nel nostro campione hanno respinto i crawler quasi tre volte più spesso del robots.txt.

Abbiamo controllato 199 siti nel robots.txt e sul server

Come faccio a sapere quali crawler di IA blocca il mio sito? Quasi tutti gli strumenti di controllo, compreso il nostro gratuito, leggono il robots.txt e si fermano lì. Lo standard che regola il file, la RFC 9309, è netto sui suoi limiti: “Queste regole non sono una forma di autorizzazione all’accesso.” Una regola chiede a un crawler di restare fuori. Se una richiesta ottiene la pagina lo decidono il tuo server, la tua CDN e il tuo firewall.

Proofsource analizza il sito di ogni brand che monitora. Per ogni sito abbiamo preso l’ultima analisi tra il 5 ottobre e il 20 novembre 2026: 199 siti, esclusi i nostri domini e quelli di test. Ogni analisi legge il robots.txt per ogni crawler di IA, poi chiede la homepage una volta per crawler, inviando lo User-Agent pubblicato da quel crawler. Registra se il server ha servito la pagina o ha risposto con 401, 403, 429 o una verifica anti-bot.

I server hanno respinto GPTBot su 32 siti, il robots.txt l’ha bloccato su 12

Il server ha respinto una richiesta che si presentava come GPTBot su 32 dei 199 siti: il 16,1% (dall’11,6% al 21,8%). Il robots.txt vietava GPTBot su 12 (6,0%).

Su 21 di quei 32 siti, il robots.txt autorizzava tutti i crawler di IA per cui l’abbiamo letto. Un controllo del solo file avrebbe detto a tutti e 21 che erano aperti all’IA.

Una volta è successo il contrario. Un sito vietava GPTBot nel robots.txt, e il suo server ha servito la pagina lo stesso. Il file resta una richiesta, in entrambe le direzioni.

La maggior parte dei blocchi lato server colpiva i crawler di addestramento e risparmiava la ricerca

Su 20 siti il server ha respinto GPTBot ma ha servito OAI-SearchBot e ChatGPT-User, e 15 di questi respingevano anche ClaudeBot. Sembra una scelta. La documentazione di OpenAI sui suoi crawler li tratta come impostazioni separate: GPTBot raccoglie dati di addestramento, OAI-SearchBot trova le pagine da mostrare nella ricerca di ChatGPT. Respingere il primo non ti toglie dalla seconda.

13 siti respingevano i crawler che portano le pagine nelle risposte

Per essere citati, i crawler che contano sono gli agenti di ricerca e quelli che agiscono per un utente. 13 siti (6,5%) hanno respinto almeno uno tra OAI-SearchBot, ChatGPT-User e PerplexityBot. Il robots.txt li vietava solo su uno di quei 13.

10 siti hanno respinto tutti i crawler di IA che abbiamo inviato. 7 di quei 10 hanno risposto con una verifica anti-bot di Cloudflare invece che con una semplice pagina di errore. OpenAI dice che un sito che esclude OAI-SearchBot non comparirà nelle risposte della ricerca di ChatGPT, e chiede ai siti che vogliono comparire di autorizzare i suoi intervalli di indirizzi IP pubblicati, oltre al suo nome nel robots.txt.

Alcuni di questi blocchi probabilmente non li ha mai scritti nessuno a mano

Cloudflare ha aggiunto a settembre 2024 un’opzione per bloccare i crawler di IA con un clic e dice che più di un milione di clienti l’ha attivata. Dal 1° luglio 2025 chiede a ogni nuovo dominio, al momento dell’iscrizione, se vuole autorizzare i crawler di IA. Un’impostazione scelta una volta in una dashboard, o da chi ha configurato l’account, non compare nel robots.txt. Se un crawler viene respinto e nessuno nel tuo team ricorda di averlo deciso, guarda prima lì.

Controlla entrambi in dieci minuti

  • Leggi prima il robots.txt per i crawler delle risposte: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Poi decidi a parte per i crawler di addestramento, GPTBot e ClaudeBot.
  • Chiedi la tua homepage con curl, impostando come User-Agent il nome di ogni crawler. Un 403, un 429 o una pagina di verifica anti-bot vuol dire che il server l’ha respinto, qualunque cosa dica il robots.txt.
  • Apri le impostazioni della tua CDN per i bot e i crawler di IA e leggi come è impostato ciascuno. Su Cloudflare, controlla sia i controlli dei crawler di IA sia qualsiasi regola che blocca i bot di IA.
  • Se il tuo firewall lascia passare solo i bot verificati, assicurati che gli intervalli di indirizzi IP pubblicati dalle aziende di IA siano nella sua lista di autorizzazioni, poi cerca nei log i 403 dati a quei crawler.

Come lo controlla Proofsource

Ogni analisi del sito di Proofsource legge il robots.txt per ogni crawler di IA e chiede la tua homepage presentandosi come ciascuno di loro. Quando il robots.txt autorizza un crawler e il server lo respinge, la prima scansione lo segnala su una riga a sé, con l’impostazione da cambiare.

Dove potremmo sbagliare

Le nostre richieste partivano dai nostri server, non da quelli di OpenAI, Anthropic o Perplexity. Un firewall che controlla da dove arriva una richiesta può respingere la nostra e servire comunque il vero crawler. Vale soprattutto per le verifiche anti-bot. Considera un rifiuto un motivo per aprire le impostazioni della CDN, non una prova che ChatGPT non può leggerti.

Una richiesta per crawler, solo alla homepage, in un singolo momento. 5 dei rifiuti erano limiti di frequenza 429, che possono essere passeggeri. Altre pagine possono avere altre regole.

199 siti di brand monitorati in Proofsource, che non sono un campione casuale del web. Le prime analisi inviavano cinque crawler e quelle successive otto, quindi i numeri per Claude-SearchBot, Claude-User e Perplexity-User riguardano 189 siti. Non abbiamo visto i log dei siti, quindi non possiamo dire come sono state trattate le visite dei crawler veri.

Da dove vengono i numeri esterni

  1. RFC 9309: Robots Exclusion Protocol · IETF
  2. Overview of OpenAI Crawlers · OpenAI
  3. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large · Cloudflare
  4. Controllo robots.txt gratuito per crawler IA come GPTBot · Proofsource
Tutte le note

Domande

Il robots.txt blocca i crawler di IA?

Chiede loro di restare fuori, e le grandi aziende di IA dicono di rispettarlo, ma non ferma una richiesta. Nella nostra analisi di 199 siti, un sito vietava GPTBot nel robots.txt e il suo server ha servito la pagina lo stesso.

Come faccio a sapere se Cloudflare blocca ChatGPT?

Chiedi la tua homepage con OAI-SearchBot come User-Agent e cerca un 403 o una pagina di verifica anti-bot, poi leggi le impostazioni di Cloudflare per i crawler di IA. Nel nostro campione, 7 dei 10 siti che respingevano tutti i crawler di IA lo facevano con una verifica anti-bot di Cloudflare.

Se blocco GPTBot, sparisco da ChatGPT?

Non dalla ricerca di ChatGPT. OpenAI documenta GPTBot (addestramento) e OAI-SearchBot (ricerca) come impostazioni separate. Su 20 dei 199 siti controllati, il server respingeva GPTBot e serviva comunque OAI-SearchBot.

I tuoi numeri battono il nostro miglior articolo.

La rosa ristretta della tua categoria si sta scrivendo proprio ora, che qualcuno legga questa pagina o no. Una prova gratuita, 25 domande su quattro motori oggi, ti dice se il tuo nome c’è.

100 risposte. 25 Prompts/domanda. I migliori motori di IA. Gratis.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI