Confira se os rastreadores de IA conseguem acessar seu site e ler o que está nele.
O Acesso de Crawlers do Proofsource verifica as duas coisas que decidem se a IA consegue aprender com seu site: se GPTBot, ClaudeBot, PerplexityBot e os outros crawlers de IA têm permissão e são de fato atendidos, e se a página que recebem traz o seu texto ou uma casca vazia de JavaScript.
| Crawler | robots.txt | Resposta do servidor |
|---|---|---|
| GPTBot (treinamento da OpenAI) | Permitido | Bloqueado (403) |
| OAI-SearchBot (busca do ChatGPT) | Permitido | Entregue (200) |
| ChatGPT-User (navegação do ChatGPT) | Permitido | Entregue (200) |
| ClaudeBot (Anthropic) | Permitido | Bloqueado (403) |
| PerplexityBot (Perplexity) | Permitido | Entregue (200) |
Um veredito para cada crawler de IA no seu robots.txt.
O Proofsource lê seu robots.txt e dá um veredito para dez crawlers de IA. Saber o que cada crawler faz importa: OAI-SearchBot e PerplexityBot buscam páginas para respostas ao vivo, enquanto GPTBot e Google-Extended controlam dados de treinamento, então você pode bloquear o treinamento sem sumir da busca por IA.
- GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot e Bytespider
- Permitido ou bloqueado, e indeterminado quando o arquivo não pode ser lido, nunca um palpite
- Google-Extended é um token do robots.txt, não um rastreador separado, e é verificado como tal
| Token | Usado para | Veredito |
|---|---|---|
| GPTBot | Treinamento de modelos da OpenAI | Bloqueado |
| OAI-SearchBot | Resultados de busca do ChatGPT | Permitido |
| ClaudeBot | Rastreamento da Anthropic | Permitido |
| PerplexityBot | Respostas do Perplexity | Permitido |
| Google-Extended | Treinamento do Gemini e do Vertex AI | Bloqueado |
O robots.txt é um pedido. Quem decide quem entra é o servidor.
Um site pode liberar o GPTBot no robots.txt e ainda assim responder com 403 por causa de um firewall de bots na CDN. O Proofsource solicita sua página inicial como GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot e PerplexityBot e registra o que seu servidor realmente retornou. Um verificador de robots.txt sozinho mostraria todos como liberados.
- Entregue, barrado ou indefinido, por crawler
- O código de status que cada crawler recebeu
- Detecta bloqueios de CDN e firewall que a verificação do robots.txt não pega
GET / como GPTBot → 403 Sua solicitação foi bloqueada.
A causa era uma configuração de bots da CDN, não o robots.txt. Um verificador de robots.txt sozinho teria informado que todos os crawlers estavam liberados.
Veja quanto da sua página um bot consegue realmente ler.
Muitos rastreadores de IA leem o HTML bruto e não executam JavaScript. O Proofsource compara o texto que um navegador renderiza com o texto do HTML bruto. Uma página renderizada no cliente pode mostrar milhares de palavras em um navegador e poucas dezenas para um bot. Se seu conteúdo só aparece depois que o JavaScript roda, a maioria dos rastreadores de IA nunca o vê.
- Palavras renderizadas versus palavras no HTML bruto, por página
- Sinaliza páginas sem texto no corpo, sem H1 ou sem links rastreáveis
- Verifique de novo depois de publicar renderização no servidor ou pré-renderização
| Verificar | Resultado |
|---|---|
| Texto principal no HTML | Ausente |
| H1 no HTML | Ausente |
| Links que um rastreador consegue seguir | Nenhum encontrado |
Se a IA não consegue ler você, ela não consegue recomendar você.
Encontrar bloqueios silenciosos
Configurações de bots da CDN podem barrar rastreadores de IA sem ninguém do seu time perceber. A verificação no servidor mostra.
Deixe seu texto visível
Uma página que só renderiza em JavaScript fica quase em branco para a maioria dos crawlers de IA. A verificação de renderização mede o quanto.
Bloquear treinamento, manter busca
Um veredito por crawler mostra exatamente quais sistemas de IA você deixa entrar, para que bloquear o treinamento seja uma escolha, não um acidente.
Perguntas que compradores fazem
Como verifico se o GPTBot consegue acessar meu site?
Verifique duas coisas. Primeiro, o robots.txt: ele não deve bloquear o GPTBot. Segundo, o servidor: peça uma página com o user agent do GPTBot e confirme que recebe 200, não um 403 de uma CDN ou firewall. O Proofsource faz as duas verificações e ainda confirma que a página tem texto legível.
Qual é a diferença entre GPTBot e OAI-SearchBot?
O GPTBot coleta conteúdo que pode ser usado para treinar modelos da OpenAI. O OAI-SearchBot busca páginas para os resultados de busca do ChatGPT, e o ChatGPT-User busca uma página quando a conversa de um usuário precisa dela. Bloquear o GPTBot não tira você da busca do ChatGPT, mas bloquear o OAI-SearchBot tira.
O que é o Google-Extended?
Google-Extended é um token do robots.txt, não um rastreador separado. Bloqueá-lo diz ao Google para não usar seu conteúdo no treinamento de modelos do Gemini e do Vertex AI. Isso não afeta a Busca do Google.
Rastreadores de IA conseguem ler sites em JavaScript?
Muitos não conseguem. Vários rastreadores de IA leem só o HTML bruto que o servidor retorna e não executam JavaScript, então uma página renderizada no cliente pode parecer quase vazia para eles. Renderização no servidor ou pré-renderização coloca o texto no HTML, onde todo rastreador consegue ler.
Por que meu site bloquearia crawlers de IA sem eu saber?
Provedores de CDN e segurança oferecem configurações de bloqueio de bots, e alguns bloqueiam rastreadores de treino de IA por padrão ou com um clique. O bloqueio acontece no servidor, então o robots.txt continua dizendo que o rastreador está liberado. Só uma requisição feita como o rastreador mostra isso.
Posso testar o Proofsource de graça?
Sim. 200 respostas. 25 Prompts/pergunta. Os principais mecanismos de IA. 2 dias. Grátis. 25 perguntas de compra em ChatGPT, Perplexity, Claude e Google AI Overviews, hoje e amanhã. Sem cartão. Depois da segunda análise, a análise pausa e suas respostas ficam na sua conta.
Quanto custa o Proofsource?
Uma tabela de preços para todos: planos a partir de US$ 9 por mês (5 perguntas no ChatGPT, toda semana). Cada marca paga uma taxa por todo dia (US$ 28 por marca por mês) ou toda semana (US$ 7), mais cada pergunta em cada mecanismo que você escolher. Membros de equipe ilimitados em todos os planos. Sem cobrança de excedente.
Mais da plataforma
Ask Proof
Um assistente que responde a perguntas sobre a sua visibilidade em IA com os seus próprios dados e mostra as consultas por trás de cada número.Explorar Ask Proof
Visibilidade em IA
Taxa de menção, share of voice e posição média em cada mecanismo de IA, com um intervalo de Wilson de 95% em cada número.Explorar Visibilidade em IA
Prompts
As perguntas de compra que você monitora, agrupadas por tema, marcadas com ou sem o nome da marca, ordenadas pela demanda de busca, com as buscas que cada mecanismo faz.Explorar Prompts
Garanta que a IA consiga ler você.
Veja se a IA menciona sua marca, quem ela menciona no lugar e o que corrigir. 200 respostas. 25 Prompts/pergunta. Os principais mecanismos de IA. 2 dias. Grátis. Sem cartão · sem ligação de vendas.
Google AI OverviewsGoogle AI Mode
