Correggi il tuo sito perché l’IA ti legga e ti collochi.

Ogni motore invia i propri bot, e ognuno può essere ammesso o respinto separatamente. Quelli che decidono se oggi puoi comparire nelle risposte sono i crawler di ricerca e quelli che recuperano una pagina su richiesta di un utente. I crawler di addestramento decidono cosa potranno imparare i modelli futuri.

Il bot che la maggior parte dei siti blocca non è quello che decide se compaiono. OpenAI documenta GPTBot come suo crawler di addestramento e OAI-SearchBot come quello che fa comparire i siti nella ricerca di ChatGPT; i siti che escludono OAI-SearchBot non vengono mostrati nelle risposte della ricerca di ChatGPT. Anthropic separa ClaudeBot (addestramento) da Claude-SearchBot e Claude-User, e Perplexity dice che PerplexityBot non viene usato affatto per l’addestramento. Secondo la documentazione di Google sui suoi crawler, Google-Extended non incide sull’inclusione nella Ricerca Google, quindi bloccarlo non cambia nulla per gli AI Overviews (la mappa completa dei crawler).

Due problemi sono frequenti, e nessuno dei due si vede guardando il sito da un browser.

• Bloccato a livello di CDN. L’impostazione anti-bot di una CDN può restituire un errore ai crawler dell’IA anche quando robots.txt li ammette; il 1° luglio 2025 Cloudflare ha annunciato che avrebbe bloccato per impostazione predefinita i crawler dell’IA che non pagano. Un checker di robots.txt, come il nostro AI crawler checker gratuito, segnalerà comunque ogni bot come ammesso, perché il blocco avviene sul server.
• Vuoto finché non gira JavaScript. Se il tuo testo compare solo dopo l’esecuzione degli script, molti bot vedono una pagina vuota, o poche parole dove una persona ne vede migliaia.

Una in più per Google: per poter comparire come link di supporto negli AI Overviews o in AI Mode, una pagina deve essere indicizzata e idonea a mostrare uno snippet, quindi una regola nosnippet o un max-snippet troppo stretto la toglie anche dalla risposta dell’IA.

Verificalo da solo in cinque minuti

Scarica una pagina chiave come ciascun bot e guarda il codice di stato e le parole che ricevi:

curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot" https://yoursite.com/
curl -s -o /dev/null -w "%{http_code}\n" -A "ClaudeBot" https://yoursite.com/
curl -s -A "OAI-SearchBot" https://yoursite.com/ | sed 's/<[^>]*>//g' | wc -w

Un 403 o un 503 significa che qualcosa sta bloccando quel bot. Un numero di parole molto inferiore a quello che vedi sulla pagina significa che il tuo testo dipende da JavaScript. Correggi il blocco sulla CDN e servi il contenuto principale direttamente nell’HTML.

No. llms.txt è un file markdown proposto che elenca le tue pagine chiave per i modelli linguistici. La guida di Google alle sue funzionalità di IA generativa, aggiornata l’ultima volta il 10 luglio 2026, dice che pubblicarne uno non danneggia né aiuta la tua visibilità nella Ricerca Google, perché la Ricerca non lo usa, e nessuno dei motori che monitoriamo ha dichiarato di usare llms.txt per il ranking.

Il nostro risultato, senza filtri: abbiamo scaricato /llms.txt dai 300 domini che i motori di IA hanno citato di più nei nostri campioni. 129 ne pubblicavano uno, e quei 129 siti sono stati citati 6.343 volte. Una sola citazione puntava a un file, un llms-full.txt; nessuna puntava a un llms.txt. Dei dieci domini più citati, otto non avevano il file e due hanno bloccato la nostra verifica (lo studio su llms.txt). Ahrefs è arrivata alla stessa conclusione dall’altro lato: il 97% dei file nel suo campione di maggio 2026 non ha ricevuto alcuna richiesta.

Pubblicarlo non fa danni, e gli agenti che leggono documentazione lo usano davvero. Se lo pubblichi comunque, scrivilo con il generatore di llms.txt e controlla la versione online con il validatore di llms.txt.