Che cos’è il robots.txt?
robots.txt è un file di testo semplice nella root di un sito che indica ai crawler quali percorsi possono scaricare, secondo il Robots Exclusion Protocol (RFC 9309). Il robots.txt è il controllo più antico che un sito ha sui crawler, e nell’era dell’IA porta con sé più decisioni che mai: addestramento, indicizzazione per la ricerca e recuperi avviati dagli utenti hanno ciascuno il proprio bot, e una regola per uno non dice nulla sugli altri.
Come funziona il robots.txt?
Funziona come un insieme di gruppi: ognuno nomina uno o più token user-agent ed elenca percorsi Allow e Disallow. Le regole sono standardizzate come Robots Exclusion Protocol nella RFC 9309 (Koster, Illyes, Zeller e Sassman, settembre 2022), che stabilisce i dettagli seguiti dai crawler (RFC 9309, letta il 15 ott 2026):
- Il file si chiama robots.txt, in minuscolo, si trova al livello principale dell’host ed è servito come testo semplice UTF-8.
- Quando le regole sono in conflitto, vince la corrispondenza più specifica: quella con più ottetti.
- I crawler devono elaborare almeno 500 kibibyte del file e non dovrebbero usare una copia in cache per più di 24 ore, a meno che il file non sia raggiungibile.
- Una risposta 4xx consente a un crawler di recuperare qualsiasi cosa; una risposta 5xx significa che deve presumere che tutto sia vietato.
- Le regole non sono una forma di autorizzazione all’accesso: sono una richiesta, e un percorso elencato è visibile pubblicamente.
Come si scrivono le regole del robots.txt per i crawler di IA?
Nomina ogni bot con il suo token e decidi ogni compito separatamente. La posizione più comune è restare trovabili nella ricerca con IA tenendo i contenuti fuori dall’addestramento: consenti gli agenti di ricerca e di recupero per gli utenti, vieta i crawler di addestramento a cui ti opponi.
Ogni host ha il proprio file, quindi docs.example.com ha bisogno di regole proprie; Anthropic chiede ai proprietari dei siti di aggiungere le sue regole a ogni sottodominio che vogliono coprire (Anthropic, 7 aprile 2026).
# Trovabili nella ricerca con IA e nei recuperi per gli utenti
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Tenuti fuori dall’addestramento dei modelli
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /Quali errori nel robots.txt ti nascondono dalle risposte dell’IA?
Quelli costosi sono di solito involontari:
- Bloccare gli agenti di ricerca (OAI-SearchBot, Claude-SearchBot, PerplexityBot) quando si voleva bloccare l’addestramento.
- Una regola generica sotto User-agent: * che colpisce anche i crawler di ricerca dell’IA.
- Un’impostazione della CDN o di sicurezza che blocca i bot di IA prima ancora che il tuo robots.txt venga letto.
- Regole su www ma non sul sottodominio della documentazione o dell’assistenza, quello che i motori vorrebbero citare di più.
- Controlli sugli snippet nelle pagine chiave: Google dice che una pagina deve essere idonea a essere mostrata con uno snippet per comparire in AI Overviews o AI Mode (Google Search Central).
Cosa decide il robots.txt in un esempio reale?
Decide se le tue pagine possono anche solo competere per le citazioni. Nell’esempio pubblico di Tesla (4 ott 2026), Perplexity ha dato 375 citazioni e Claude 351 su 25 domande d’acquisto; tesla.com ne ha ottenute rispettivamente 3 e 1.
Un sito il cui robots.txt blocca gli agenti di ricerca di quei motori rinuncia anche a quelle. Consentirli non fa vincere citazioni da solo; mette le tue pagine in gara.
Come si controlla il robots.txt per i crawler di IA?
Recupera il file live da internet, per ogni host, e cercaci ogni token per nome. La verifica gratuita dei crawler di IA legge il tuo robots.txt live e indica quali crawler di IA consente o blocca, e Accesso dei crawler in Proofsource lo controlla insieme al livello della CDN e al testo renderizzato.
Domande frequenti su robots.txt
Il robots.txt impedisce all’IA di usare i miei contenuti?
Solo per i crawler che lo rispettano, e solo dal momento in cui lo leggono. È una richiesta, non un lucchetto, e i fetcher avviati dagli utenti, come Perplexity-User, dichiarano di ignorarlo in generale.
Bloccare GPTBot mi toglie da ChatGPT?
No. GPTBot è il crawler di addestramento di OpenAI. La ricerca di ChatGPT dipende da OAI-SearchBot, e OpenAI dice che ogni impostazione è indipendente.
Quanto tempo ci vuole perché le modifiche al robots.txt abbiano effetto?
La RFC 9309 dice che i crawler non dovrebbero affidarsi a una copia in cache per più di 24 ore, e OpenAI dice che i suoi sistemi di ricerca impiegano circa 24 ore a recepire una modifica.
L’llms.txt sostituisce il robots.txt?
No. Il robots.txt stabilisce le regole per i crawler. L’llms.txt è una proposta di elenco di letture per i modelli linguistici e non ha voce in capitolo sull’accesso.
Termini correlati
- GPTBot
GPTBot è il crawler web di OpenAI che raccoglie contenuti che possono essere usati per addestrare i modelli fondazionali di IA generativa di OpenAI.
- OAI-SearchBot
OAI-SearchBot è il crawler di OpenAI che fa comparire i siti nelle funzioni di ricerca di ChatGPT, e i siti che lo escludono non vengono mostrati nelle risposte di ricerca di ChatGPT.
- ClaudeBot
ClaudeBot è il crawler web di Anthropic che raccoglie contenuti dal web che possono contribuire all’addestramento dei modelli Claude di Anthropic.
- llms.txt
llms.txt è un file markdown proposto, nella root di un sito, che spiega ai modelli linguistici cos’è il sito ed elenca le pagine che vale di più la pena leggere.
Esempio svolto: Tesla, risposte pubbliche dell’IA, 4 ott 2026: la prima scansione di Tesla fatta da Proofsource, con 25 domande d’acquisto e 5 domande sul brand, una risposta per domanda su ciascuno di quattro motori. Un piccolo campione di un solo brand, mostrato come esempio, non come benchmark.
Scopri dove l’IA ti lascia fuori, e cosa correggere.
Scopri quali domande d’acquisto menzionano il tuo brand, chi viene menzionato al posto tuo e cosa correggere. 200 risposte. 25 Prompts/domanda. I migliori motori di IA. 2 giorni. Gratis. Senza carta.
Google AI OverviewsGoogle AI Mode
