Che cos’è CCBot?
CCBot è il crawler web di Common Crawl, un’organizzazione non profit che pubblica una copia libera e aperta del web che ricercatori e sviluppatori di IA usano come dati di addestramento. CCBot non è il crawler di un’azienda di IA, ma il suo archivio alimenta molti modelli di IA. Common Crawl pubblica gratuitamente la sua copia del web, quindi bloccare CCBot è una decisione sui dataset aperti su cui si addestrano ricercatori e sviluppatori di IA.
Che cos’è Common Crawl, e che cosa fa CCBot?
Common Crawl si descrive come un’organizzazione non profit 501(c)(3) che si dedica a fornire gratuitamente una copia di internet a ricercatori, aziende e privati; CCBot è il crawler che la raccoglie (FAQ di Common Crawl, consultate il 15 ott 2026).
I suoi dati arrivano ai modelli di IA attraverso gli sviluppatori che li usano. L’articolo di OpenAI su GPT-3, per esempio, indica una versione filtrata di Common Crawl come la parte più grande del mix di addestramento di quel modello (Language Models are Few-Shot Learners, 28 maggio 2020).
Come si comporta CCBot?
Common Crawl documenta le regole del suo crawler:
- Controlla il robots.txt e recupera una pagina solo se la scansione è consentita.
- Rispetta Crawl-delay; Crawl-delay: 2 lo limita a una richiesta ogni 2 secondi.
- Rispetta il nofollow sui link per la scoperta dei link.
- Ricontrolla periodicamente il robots.txt, quindi un nuovo blocco ha effetto nelle visite successive.
- Funziona su intervalli di IP dedicati con DNS inverso, pubblicati in JSON per la verifica.
Come blocchi o verifichi CCBot?
Aggiungi un gruppo per CCBot al robots.txt. La sua stringa user-agent è CCBot/2.0 (https://commoncrawl.org/faq/), e Common Crawl indica un hostname DNS inverso sotto crawl.commoncrawl.org per verificare una richiesta (CCBot).
# Tieni i contenuti fuori dall'archivio aperto di Common Crawl
User-agent: CCBot
Disallow: /Che cosa cambia bloccando CCBot, in un esempio reale?
Cambia i dataset aperti futuri, non le risposte di oggi. Nell’esempio pubblico di Tesla (4 ott 2026), Claude ha risposto a «What is Tesla?» e «Is Tesla legit?» con ciò che il modello sapeva già, senza citare fonti: quella memoria veniva da dati di addestramento raccolti molto tempo prima.
Sulle domande d’acquisto gli stessi motori hanno citato 455 siti diversi, letti al momento della risposta dai loro crawler di ricerca e fetcher. Una regola per CCBot non tocca nessuno di questi percorsi in tempo reale; gli agenti di ricerca e quelli utente sì.
Come controlli la tua regola per CCBot?
Leggi il robots.txt pubblicato su ogni host cercando un gruppo per CCBot, e decidi insieme ai crawler di addestramento dell’IA. La verifica gratuita dei crawler di IA legge il tuo robots.txt pubblicato, e Accesso dei crawler in Proofsource lo monitora nel tempo.
Domande frequenti su CCBot
Bloccare CCBot toglie le mie pagine dalle risposte dell’IA?
No. Le risposte dell’IA che fanno ricerche usano i crawler e i fetcher dei motori stessi. CCBot influisce solo sull’archivio futuro di Common Crawl.
Bloccare CCBot rimuove i miei contenuti dai dataset esistenti?
La documentazione di Common Crawl descrive come CCBot smette di scansionare un sito bloccato. Non dice che gli archivi passati vengano modificati, quindi dai per scontato che ciò che è stato raccolto prima resti.
CCBot è il crawler di un’azienda di IA?
No. Common Crawl è un’organizzazione non profit che pubblica il suo archivio per chiunque. Gli sviluppatori di IA sono tra i tanti utenti di quei dati.
CCBot rispetta Crawl-delay?
Sì. Common Crawl dice che rispetta il parametro Crawl-delay nel robots.txt.
Termini correlati
- GPTBot
GPTBot è il crawler web di OpenAI che raccoglie contenuti che possono essere usati per addestrare i modelli fondazionali di IA generativa di OpenAI.
- ClaudeBot
ClaudeBot è il crawler web di Anthropic che raccoglie contenuti dal web che possono contribuire all’addestramento dei modelli Claude di Anthropic.
- Applebot-Extended
Applebot-Extended è un token di robots.txt che permette a un sito di escludere l’uso dei suoi contenuti per addestrare i modelli fondazionali di Apple, e di per sé non scansiona nulla.
- robots.txt
robots.txt è un file di testo semplice nella root di un sito che indica ai crawler quali percorsi possono scaricare, secondo il Robots Exclusion Protocol (RFC 9309).
Esempio svolto: Tesla, risposte pubbliche dell’IA, 4 ott 2026: la prima scansione di Tesla fatta da Proofsource, con 25 domande d’acquisto e 5 domande sul brand, una risposta per domanda su ciascuno di quattro motori. Un piccolo campione di un solo brand, mostrato come esempio, non come benchmark.
Scopri dove l’IA ti lascia fuori, e cosa correggere.
Scopri quali domande d’acquisto menzionano il tuo brand, chi viene menzionato al posto tuo e cosa correggere. 200 risposte. 25 Prompts/domanda. I migliori motori di IA. 2 giorni. Gratis. Senza carta.
Google AI OverviewsGoogle AI Mode
