Verifica robots.txt per crawler IA e Googlebot
Un checker gratuito per robots.txt. Incolla il tuo robots.txt e lo leggiamo per 16 crawler, i bot di IA di OpenAI, Anthropic e Perplexity più Googlebot e Bingbot, mostrando se ognuno è consentito, bloccato o non menzionato, con la riga che lo decide.
Sedici crawler, di IA e di ricerca, e a cosa serve ciascuno.
I risultati compaiono qui. Non viene salvato nulla e non interviene alcun modello di IA: è una semplice lettura del robots.txt.
GPTBot · OpenAI · Addestramento
Raccoglie pagine per addestrare i modelli di OpenAI.
OAI-SearchBot · OpenAI · Cerca
Indicizza le pagine perché ChatGPT search possa citarle.
ChatGPT-User · OpenAI · Recupero su richiesta dell’utente
Apre una pagina quando un utente di ChatGPT glielo chiede.
ClaudeBot · Anthropic · Addestramento
Raccoglie pagine per addestrare i modelli Claude.
Claude-SearchBot · Anthropic · Cerca
Indicizza le pagine perché Claude possa citarle nelle risposte di ricerca.
Claude-User · Anthropic · Recupero su richiesta dell’utente
Apre una pagina quando un utente di Claude glielo chiede.
anthropic-ai · Anthropic · Addestramento
Un vecchio token di Anthropic che molti file robots.txt citano ancora.
PerplexityBot · Perplexity · Cerca
Indicizza le pagine perché Perplexity possa citarle nelle risposte.
Perplexity-User · Perplexity · Recupero su richiesta dell’utente
Apre una pagina quando un utente di Perplexity glielo chiede.
Google-Extended · Google · Addestramento
Decide se Gemini può addestrarsi sulle pagine scansionate da Googlebot. La Ricerca non ne risente.
Googlebot · Google · Cerca
La Ricerca Google, la fonte da cui attingono AI Overviews e AI Mode.
Bingbot · Microsoft · Cerca
La ricerca di Bing, l’indice da cui attingono le risposte di Copilot.
Applebot-Extended · Apple · Addestramento
Decide se Apple può addestrare i suoi modelli sulle pagine scansionate da Applebot.
CCBot · Common Crawl · Addestramento
Costruisce il dataset aperto Common Crawl su cui si addestrano molti modelli.
Meta-ExternalAgent · Meta · Addestramento
Raccoglie pagine per addestrare i modelli di Meta AI.
Bytespider · ByteDance · Addestramento
Raccoglie pagine per addestrare i modelli di ByteDance.
Le regole seguono la RFC 9309: un crawler rispetta i gruppi che lo nominano, altrimenti il gruppo *; vince la regola corrispondente più lunga, e in caso di parità vince Allow. Il verdetto riguarda la home page. I crawler di addestramento alimentano i modelli futuri; i crawler di ricerca decidono se oggi una risposta dell’IA può citarti; i fetch degli utenti avvengono quando qualcuno chiede a un assistente di aprire la tua pagina.
Il robots.txt è solo metà dell’accesso. Un’impostazione anti-bot della CDN può comunque respingere un crawler che il robots.txt consente, e questo controllo non può vederlo; Accesso dei crawler in Proofsource richiede le tue pagine come ciascun crawler per scoprirlo. Scopri perché bloccare GPTBot non ti rimuove da ChatGPT, controlla il tuo file con il validatore llms.txt o inizia da la guida alla visibilità nell’IA.
Cosa significano le risposte.
Devo bloccare i crawler di addestramento?
È una decisione di business. Bloccare GPTBot o ClaudeBot tiene le tue pagine fuori dai futuri set di addestramento, ma non impedisce a ChatGPT o Claude di citarti tramite i loro crawler di ricerca. Bloccare OAI-SearchBot, Claude-SearchBot o PerplexityBot, invece, ti toglie da quelle risposte.
Perché un crawler risulta non menzionato?
Il tuo robots.txt non ha un gruppo per questo bot, quindi segue il gruppo *. Se non c’è nemmeno un gruppo *, niente lo limita.
robots.txt ferma tutti i bot?
No. È una richiesta che le grandi aziende di IA dicono di rispettare. Non blocca un crawler che la ignora; quello lo fa una regola del firewall.
Essere accessibile ai crawler è il primo passo.
Proofsource mostra se ChatGPT, Perplexity, Claude e Google ti menzionano davvero, quali concorrenti menzionano al posto tuo e cosa correggere.