Verifica che i crawler di IA raggiungano il tuo sito e leggano ciò che contiene.
Accesso dei crawler in Proofsource verifica le due cose che decidono se l’IA può imparare dal tuo sito: se GPTBot, ClaudeBot, PerplexityBot e gli altri crawler IA sono ammessi e vengono effettivamente serviti, e se la pagina che ricevono contiene le tue parole o un guscio JavaScript vuoto.
| Crawler | robots.txt | Risposta del server |
|---|---|---|
| GPTBot (addestramento di OpenAI) | Consentito | Respinto (403) |
| OAI-SearchBot (ricerca di ChatGPT) | Consentito | Servita (200) |
| ChatGPT-User (navigazione di ChatGPT) | Consentito | Servita (200) |
| ClaudeBot (Anthropic) | Consentito | Respinto (403) |
| PerplexityBot (Perplexity) | Consentito | Servita (200) |
Un verdetto per ogni crawler di IA nel tuo robots.txt.
Proofsource legge il tuo robots.txt e dà un verdetto per dieci crawler IA. Sapere quale crawler fa cosa è importante: OAI-SearchBot e PerplexityBot recuperano le pagine per le risposte in tempo reale, mentre GPTBot e Google-Extended regolano i dati di addestramento, quindi puoi bloccare l’addestramento senza sparire dalla ricerca IA.
- GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot e Bytespider
- Consentito o non consentito, e non determinato quando il file non è leggibile, mai un’ipotesi
- Google-Extended è un token di robots.txt, non un crawler separato, e viene verificato come tale
| Token | Usato per | Verdetto |
|---|---|---|
| GPTBot | Addestramento dei modelli di OpenAI | Non consentito |
| OAI-SearchBot | Risultati di ricerca di ChatGPT | Consentito |
| ClaudeBot | Crawling di Anthropic | Consentito |
| PerplexityBot | Risposte di Perplexity | Consentito |
| Google-Extended | Addestramento di Gemini e Vertex AI | Non consentito |
Il robots.txt è una richiesta. È il server a decidere chi entra.
Un sito può consentire GPTBot nel robots.txt e rispondergli comunque con un 403 dal firewall anti-bot di una CDN. Proofsource richiede la tua homepage come GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot e PerplexityBot e registra cosa ha effettivamente restituito il tuo server. Un semplice checker del robots.txt li darebbe tutti come consentiti.
- Servita, respinta o non chiara, per crawler
- Il codice di stato ricevuto da ogni crawler
- Rileva i blocchi di CDN e firewall che i controlli del robots.txt non vedono
GET / come GPTBot → 403 Your request was blocked.
La causa era un’impostazione dei bot sulla CDN, non il robots.txt. Un controllo del solo robots.txt avrebbe dato tutti i crawler come autorizzati.
Scopri quanta parte della tua pagina un bot riesce davvero a leggere.
Molti crawler di IA leggono l’HTML grezzo e non eseguono JavaScript. Proofsource confronta le parole che un browser visualizza con quelle presenti nell’HTML grezzo. Una pagina resa lato client può mostrare migliaia di parole in un browser e qualche decina a un bot. Se i tuoi contenuti compaiono solo dopo l’esecuzione di JavaScript, la maggior parte dei crawler di IA non li vede mai.
- Parole renderizzate a confronto con le parole dell’HTML grezzo, per pagina
- Segnala le pagine senza testo nel corpo, senza H1 o senza link scansionabili
- Ricontrolla dopo aver introdotto il rendering lato server o il prerendering
| Verifica | Risultato |
|---|---|
| Testo del corpo nell’HTML | Mancante |
| H1 nell’HTML | Mancante |
| Link che un crawler può seguire | Nessuno trovato |
Se l’IA non riesce a leggerti, non può consigliarti.
Trova i blocchi silenziosi
Le impostazioni bot della CDN possono respingere i crawler di IA senza che nessuno nel tuo team se ne accorga. Il controllo lato server lo mostra.
Rendi visibili le tue parole
Una pagina che si visualizza solo con JavaScript è quasi vuota per la maggior parte dei crawler di IA. La verifica del rendering misura quanto.
Blocca l’addestramento, mantieni la ricerca
Un verdetto per crawler mostra esattamente quali sistemi di IA fai entrare, così bloccare l’addestramento è una scelta, non un incidente.
Le domande di chi compra
Come verifico se GPTBot può accedere al mio sito web?
Controlla due cose. Primo, il robots.txt: non deve bloccare GPTBot. Secondo, il server: richiedi una pagina con lo user agent di GPTBot e verifica di ricevere un 200, non un 403 da una CDN o da un firewall. Proofsource esegue entrambi i controlli e verifica anche che la pagina contenga testo leggibile.
Qual è la differenza tra GPTBot e OAI-SearchBot?
GPTBot raccoglie contenuti che possono essere usati per addestrare i modelli di OpenAI. OAI-SearchBot recupera le pagine per i risultati di ricerca di ChatGPT, e ChatGPT-User recupera una pagina quando la conversazione di un utente ne ha bisogno. Bloccare GPTBot non ti toglie dalla ricerca di ChatGPT, mentre bloccare OAI-SearchBot sì.
Cos’è Google-Extended?
Google-Extended è un token di robots.txt, non un crawler separato. Bloccarlo dice a Google di non usare i tuoi contenuti per l’addestramento dei modelli Gemini e Vertex AI. Non influisce sulla Ricerca Google.
I crawler di IA riescono a leggere i siti in JavaScript?
Molti non possono. Diversi crawler di IA leggono solo l’HTML grezzo restituito dal server e non eseguono JavaScript, quindi una pagina resa lato client può sembrare quasi vuota per loro. Il rendering lato server o il prerendering mettono il testo nell’HTML, dove ogni crawler può leggerlo.
Perché il mio sito dovrebbe bloccare i crawler dell’IA a mia insaputa?
I fornitori di CDN e sicurezza offrono impostazioni di blocco dei bot, e alcuni bloccano i crawler di addestramento dell’IA per impostazione predefinita o con un solo interruttore. Il blocco avviene sul server, quindi il robots.txt continua a dire che il crawler è autorizzato. Lo rivela solo una richiesta fatta come quel crawler.
Posso provare Proofsource gratis?
Sì. 200 risposte. 25 Prompts/domanda. I migliori motori di IA. 2 giorni. Gratis. 25 domande d’acquisto su ChatGPT, Perplexity, Claude e Google AI Overviews, oggi e domani. Senza carta. Dopo la seconda scansione, la scansione si ferma e le tue risposte restano nel tuo account.
Quanto costa Proofsource?
Un unico listino per tutti: i piani partono da 9 USD al mese (5 domande su ChatGPT, ogni settimana). Ogni brand paga una quota per ogni giorno (28 USD per brand al mese) o ogni settimana (7 USD), più ogni domanda su ogni motore che scegli. Membri del team illimitati in ogni piano. Nessun costo extra.
Altro della piattaforma
Ask Proof
Un assistente che risponde alle domande sulla tua visibilità nell’IA con i tuoi dati e mostra le query dietro ogni numero.Esplora Ask Proof
Visibilità nell’IA
Tasso di menzione, share of voice e posizione media su ogni motore di IA, con un intervallo di Wilson al 95% su ogni numero.Esplora Visibilità nell’IA
Prompts
Le domande d’acquisto che monitori, raggruppate per argomento, contrassegnate come con o senza brand, ordinate per domanda di ricerca e con le ricerche che ogni motore esegue.Esplora Prompts
Assicurati che l’IA possa leggerti.
Scopri se l’IA menziona il tuo brand, chi menziona al posto tuo e cosa correggere. 200 risposte. 25 Prompts/domanda. I migliori motori di IA. 2 giorni. Gratis. Nessuna carta · nessuna chiamata commerciale.
Google AI OverviewsGoogle AI Mode
