Che cos’è ClaudeBot?
ClaudeBot è il crawler web di Anthropic che raccoglie contenuti dal web che possono contribuire all’addestramento dei modelli Claude di Anthropic. Anthropic gestisce tre bot con compiti distinti: ClaudeBot per l’addestramento, Claude-SearchBot per l’indicizzazione della ricerca e Claude-User per recuperare una pagina quando qualcuno fa una domanda a Claude. Ognuno viene indicato separatamente in robots.txt, quindi una regola per ClaudeBot non dice nulla degli altri due.
Qual è lo user agent di ClaudeBot?
ClaudeBot si identifica con il token di prodotto ClaudeBot, ed è questo il token che un gruppo di robots.txt deve indicare. L’articolo di assistenza di Anthropic nomina i suoi tre bot (ClaudeBot, Claude-User e Claude-SearchBot), ma non pubblica una stringa user agent completa: nei log cerca quindi il token, non una stringa copiata (articolo di Anthropic sul suo crawler, consultato il 15 ott 2026).
Un nome in una riga di log si può falsificare. Per confermare che una richiesta arriva davvero da Anthropic, confronta il suo IP di origine con l’elenco che Anthropic pubblica su claude.com/crawling/bots.json; Anthropic dice che un crawler con un IP di origine presente in quell’elenco proviene da Anthropic.
Alcuni file robots.txt indicano ancora anthropic-ai o Claude-Web, token più vecchi. L’articolo attuale di Anthropic non cita né l’uno né l’altro, quindi non è documentato che una regola che indica solo quei vecchi token copra ClaudeBot.
Cosa raccoglie ClaudeBot, e perché?
ClaudeBot raccoglie contenuti web pubblici che potrebbero contribuire all’addestramento dei modelli di IA generativa di Anthropic, cosa che secondo Anthropic migliora l’utilità e la sicurezza dei modelli. Bloccarlo segnala che i contenuti futuri del tuo sito vanno esclusi dai dati di addestramento di Anthropic.
Anthropic spiega anche come si comportano i suoi bot:
- Rispettano le direttive «non scansionare» di robots.txt.
- Non cercano di aggirare i CAPTCHA né altre misure anti-aggiramento.
- Supportano la regola non standard Crawl-delay, quindi puoi rallentare ClaudeBot invece di bloccarlo.
- Una regola vale per un solo host, quindi un sito con sottodomini ha bisogno della regola nel robots.txt di ogni sottodominio.
In cosa si differenzia ClaudeBot da Claude-User e Claude-SearchBot?
ClaudeBot riguarda l’addestramento; Claude-SearchBot e Claude-User riguardano l’essere trovati e letti quando qualcuno chiede qualcosa a Claude. Anthropic avverte che disattivare uno di questi ultimi due può ridurre la visibilità del tuo sito nelle risposte di ricerca di Claude.
| Bot | Compito | Se lo blocchi |
|---|---|---|
| ClaudeBot | Raccoglie contenuti web che potrebbero contribuire all’addestramento dei modelli | Segnala che i tuoi contenuti futuri vanno esclusi dall’addestramento |
| Claude-SearchBot | Esplora il web per migliorare la qualità e la pertinenza dei risultati di ricerca di Claude | Interrompe l’indicizzazione per la ricerca, il che può ridurre la tua visibilità e la tua accuratezza nelle risposte di ricerca di Claude |
| Claude-User | Recupera una pagina quando una persona fa a Claude una domanda che ne ha bisogno | Claude non può recuperare le tue pagine per quelle domande, il che può ridurre la tua visibilità nella ricerca avviata dagli utenti |
Come si blocca o si consente ClaudeBot in robots.txt?
Aggiungi un gruppo che indichi ClaudeBot nel file robots.txt alla radice di ogni host. L’esempio stesso di Anthropic blocca ClaudeBot su tutto il sito con una sola riga Disallow: / sotto User-agent: ClaudeBot.
La scelta più comune è escludere i contenuti dall’addestramento restando reperibili nelle risposte di Claude: bloccare ClaudeBot e consentire gli altri due. Crawl-delay è il modo documentato da Anthropic per rallentare ClaudeBot invece di bloccarlo. Non affidarti al blocco degli indirizzi IP di Anthropic; Anthropic dice che potrebbe non funzionare in modo affidabile, perché impedisce ai suoi bot di leggere il tuo robots.txt. Poi verifica il file pubblicato con la verifica gratuita dei crawler IA.
# Escludi i contenuti dall’addestramento di Anthropic
User-agent: ClaudeBot
Disallow: /
# Resta reperibile nelle risposte di Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Oppure, invece di bloccare ClaudeBot, rallentalo:
# User-agent: ClaudeBot
# Crawl-delay: 1Cosa significa per essere citati da Claude?
Essere citati da Claude dipende dal fatto che Claude-SearchBot e Claude-User raggiungano le tue pagine; ClaudeBot è una decisione separata sull’addestramento. Bloccarli tutti e tre significa rinunciare a entrambe le cose.
Le citazioni di Claude sono molto disperse, anche per un brand famoso. Nell’esempio pubblico di Tesla (4 ott 2026), Claude ha menzionato Tesla in 11 risposte su 25 a domande d’acquisto e ha fornito 351 citazioni in quelle risposte, di cui una sola verso tesla.com. Il sito più citato è stato en.wikipedia.org, 16 volte. È questo lo spazio delle citazioni per cui una regola sul crawler di ricerca decide se puoi competere, e si misura facendo le domande, non leggendo robots.txt. Scopri come Claude sceglie i brand che menziona.
Domande frequenti su ClaudeBot
Bloccare ClaudeBot toglie il mio sito da Claude?
Non secondo la descrizione di Anthropic. ClaudeBot è il crawler di addestramento. L’indicizzazione per la ricerca è compito di Claude-SearchBot e il recupero delle pagine per la domanda di un utente è compito di Claude-User; Anthropic dice che bloccare questi due è ciò che può ridurre la tua visibilità nelle risposte di ricerca di Claude.
ClaudeBot rispetta robots.txt?
Anthropic dice che i suoi bot rispettano le direttive di robots.txt, non aggirano i CAPTCHA e supportano Crawl-delay. Inserisci la regola nel robots.txt di ogni sottodominio che vuoi coprire.
Dovrei bloccare ClaudeBot per indirizzo IP?
Anthropic sconsiglia di farci affidamento: bloccare i suoi indirizzi IP può non funzionare in modo affidabile né duraturo, e impedisce ai bot di leggere il tuo robots.txt. Usa robots.txt per la regola, e l’elenco IP pubblicato da Anthropic solo per confermare che una richiesta è autentica.
ClaudeBot è la stessa cosa di anthropic-ai?
No. anthropic-ai e Claude-Web sono vecchi token che alcuni file robots.txt includono ancora, e l’articolo attuale di Anthropic non li cita. Indica solo ClaudeBot, Claude-SearchBot e Claude-User, quindi scrivi le tue regole per quei tre.
Termini correlati
- GPTBot
GPTBot è il crawler web di OpenAI che raccoglie contenuti che possono essere usati per addestrare i modelli fondazionali di IA generativa di OpenAI.
- OAI-SearchBot
OAI-SearchBot è il crawler di OpenAI che fa comparire i siti nelle funzioni di ricerca di ChatGPT, e i siti che lo escludono non vengono mostrati nelle risposte di ricerca di ChatGPT.
- PerplexityBot
PerplexityBot è il crawler di Perplexity che indicizza le pagine web perché possano comparire ed essere linkate nei risultati di ricerca di Perplexity.
Esempio svolto: Tesla, risposte pubbliche dell’IA, 4 ott 2026: la prima scansione di Tesla fatta da Proofsource, con 25 domande d’acquisto e 5 domande sul brand, una risposta per domanda su ciascuno di quattro motori. Un piccolo campione di un solo brand, mostrato come esempio, non come benchmark.
Scopri dove l’IA ti lascia fuori, e cosa correggere.
Scopri quali domande d’acquisto menzionano il tuo brand, chi viene menzionato al posto tuo e cosa correggere. 200 risposte. 25 Prompts/domanda. I migliori motori di IA. 2 giorni. Gratis. Senza carta.
Google AI OverviewsGoogle AI Mode
