OpenAI invia quattro agenti, e solo uno regola la ricerca di ChatGPT
Gira uno snippet di robots.txt che blocca GPTBot. Molte persone lo hanno incollato pensando di aver risolto la questione ChatGPT. Hanno risolto una questione. Solo non quella.
OpenAI documenta quattro user agent, ciascuno con il proprio compito. GPTBot scansiona contenuti che possono essere usati per addestrare i modelli fondazionali. OAI-SearchBot è quello usato per far emergere i siti nelle funzioni di ricerca di ChatGPT, e la pagina di OpenAI dice che i siti che lo escludono non verranno mostrati nelle risposte di ricerca di ChatGPT, anche se possono comunque comparire come link di navigazione. ChatGPT-User scarica una pagina quando una persona chiede qualcosa a ChatGPT, e poiché l’ha avviato un utente, OpenAI dice che le regole di robots.txt potrebbero non applicarsi. OAI-AdsBot visita solo le pagine inviate come annunci.
OpenAI è esplicita sul fatto che ogni impostazione è indipendente. Puoi consentire OAI-SearchBot e bloccare GPTBot, il che dice sì all’essere trovabile e no all’essere dati di addestramento. È una posizione ragionevole per la maggior parte delle aziende, e quasi nessun file robots.txt che abbiamo letto la esprime davvero. Lascia passare circa un giorno in entrambi i casi: OpenAI dice che servono circa 24 ore da una modifica del robots.txt perché i suoi sistemi si aggiornino.
Anthropic divide in tre, e Perplexity ti ignora quando chiede una persona
Anthropic ne usa tre. ClaudeBot raccoglie contenuti web che possono finire nell’addestramento. Claude-SearchBot indicizza contenuti per migliorare i risultati di ricerca. Claude-User scarica una pagina quando qualcuno fa una domanda a Claude. La pagina di assistenza di Anthropic spiega la conseguenza di ciascuno: disattiva Claude-SearchBot e i tuoi contenuti smettono di essere indicizzati per la ricerca, disattiva Claude-User e Claude smette di recuperare la tua pagina in risposta alla domanda di un utente.
Perplexity ne usa due. PerplexityBot esiste per far emergere e linkare i siti nei risultati di Perplexity e non viene usato affatto per raccogliere dati di addestramento. Perplexity-User visita una pagina quando qualcuno fa una domanda, e la documentazione di Perplexity dice apertamente la parte scomoda: poiché il download è stato richiesto da un utente, quel fetcher in genere ignora il robots.txt.
Somma tutto e la regola generica blocca-i-bot-di-IA finisce in un posto strano. Dei nove agenti sopra, la maggior parte di quelli che le persone intendono fermare sono quelli che mettono il tuo link davanti a un acquirente, e uno di loro comunque non ascolta il robots.txt.
Google-Extended non ha nulla a che fare con gli AI Overviews
È quello che costa di più alle persone. Google-Extended è un token di robots.txt, senza una propria stringa di user agent, che controlla se i contenuti scansionati addestrano i futuri modelli Gemini e fanno da grounding per le Gemini Apps. La documentazione dei crawler di Google dice chiaramente che non influisce sull’inclusione di un sito nella Ricerca Google e non è usato come segnale di posizionamento. Bloccarlo non fa nulla agli AI Overviews.
AI Overviews e AI Mode sono la Ricerca. Lo dice Google nelle sue linee guida per i proprietari di siti: l’IA è integrata nella Ricerca, e le direttive di robots.txt per Googlebot sono il controllo. Poi arriva la frase che coglie le persone di sorpresa. Per essere idonea come link di supporto negli AI Overviews o in AI Mode, una pagina deve essere indicizzata e idonea a essere mostrata con uno snippet. Se tu o qualcuno prima di te ha impostato nosnippet, data-nosnippet o un max-snippet stretto per tenere lontani gli scraper, ti sei tolto dalla risposta dell’IA, e niente nelle tue analytics lo ha segnalato.
La stessa guida di Google dice che non devi creare nuovi file leggibili dalle macchine o file di testo per l’IA per comparire in queste funzioni. Da tempo diciamo alle persone di non trattare llms.txt come una correzione: nessuno dei motori che osserviamo lo documenta come segnale di posizionamento. È utile che Google dichiari la versione generale con parole sue.
La tua CDN potrebbe aver già risposto per te
Il 1° luglio 2025 Cloudflare ha annunciato che avrebbe cambiato l’impostazione predefinita per bloccare i crawler di IA a meno che non paghino per i contenuti, e ha rilasciato un robots.txt gestito che serve per tuo conto e aggiorna man mano che compaiono nuovi bot. Ogni nuovo sito che si iscrive a Cloudflare ora deve fare questa scelta in fase di configurazione.
Quindi per molte aziende la risposta onesta a cosa dice il mio robots.txt su ChatGPT è non lo so, lo scrive la mia CDN. Una regola WAF fa lo stesso lavoro in modo ancora più completo. La richiesta non raggiunge mai il tuo server di origine, quindi niente nei tuoi log o nelle tue analytics registra una visita che non è avvenuta. La tua pagina si posiziona ancora, si carica ancora, a te sembra ancora a posto.
E un download che arriva deve comunque restituire delle parole. Una pagina renderizzata lato client dà a questi agenti un 200 e un contenitore vuoto, che per te sembra una pagina funzionante e per loro non è niente.
Sei verifiche che chiudono la questione in un pomeriggio
Niente di tutto questo richiede uno strumento. Richiede curl, i tuoi log e un’ora. Noi lo eseguiamo come verifica di accessibilità per i bot con le analytics dei crawler di Cloudflare alle spalle, ma puoi fare ogni passaggio da solo.
- Scarica il tuo robots.txt dall’internet pubblico, non dal tuo repository, e cercaci ogni token per nome: OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot.
- Fallo per ogni sottodominio. docs.example.com e www.example.com sono file separati e decisioni separate, e il sottodominio della documentazione di solito è quello che vuoi far citare.
- Richiedi una pagina che vuoi far citare usando la stringa di user agent pubblicata da ciascun agente, e leggi cosa torna. Un 200 con un div vuoto è un fallimento, non una promozione.
- Cerca nella tua CDN e nel tuo WAF un robots.txt gestito o una regola sui bot che nessuno del team attuale ha scritto.
- Controlla l’head delle tue pagine migliori per noindex, nosnippet, data-nosnippet e max-snippet. Ognuno di questi può togliere in silenzio una pagina dall’idoneità agli AI Overviews.
- Cerca nei tuoi log di accesso i nomi degli agenti, poi confronta gli indirizzi di origine con gli intervalli IP che pubblicano OpenAI, Perplexity e Anthropic. Una stringa di user agent si scrive gratis. L’intervallo di indirizzi è la parte che verifica.
Dove potremmo sbagliare
Tutto quanto sopra è ogni motore che descrive i propri crawler, e sia i token sia il comportamento cambiano. La pagina di Anthropic porta una data di aprile 2026, l’elenco dei crawler di Google è stato aggiornato l’ultima volta a luglio 2026, e OpenAI aggiunge un agente ogni volta che rilascia un prodotto che scarica pagine. Leggi la documentazione aggiornata prima di cambiare una riga, non questo articolo.
Il robots.txt è una richiesta. Un’azienda che dice che il suo bot lo rispetta sta facendo una dichiarazione di policy, non usando un meccanismo di applicazione, e due dei fetcher qui documentano che non lo applicano affatto alle richieste avviate dagli utenti. Se hai bisogno che qualcosa non venga letto, il robots.txt non è mai stato lo strumento giusto.
Far entrare un crawler inoltre non ti fa citare. L’accesso è il pavimento, non la risposta. Nella categoria che abbiamo campionato, i listicle erano il 44% di ciò che ChatGPT citava per una domanda sui migliori, quindi essere leggibili ed essere scelti sono due problemi diversi. Il nostro 44% è una singola misurazione sul campione che abbiamo preso, non una costante.
Vale comunque un pomeriggio, perché questo fallimento è silenzioso per costruzione. Da nessuna parte viene segnalato un download che non è mai avvenuto.
