Ajuste seu próprio site para a IA ler e entender quem você é.

Cada mecanismo envia os próprios bots, e cada um pode ser liberado ou barrado separadamente. Quem decide se você pode aparecer nas respostas hoje são os bots de busca e os que buscam páginas a pedido do usuário. Os crawlers de treinamento decidem o que os modelos futuros podem aprender.

O bot que a maioria bloqueia não é o que decide se ela aparece. A OpenAI documenta o GPTBot como seu crawler de treinamento e o OAI-SearchBot como o que mostra sites na busca do ChatGPT; sites que bloqueiam o OAI-SearchBot não aparecem nas respostas da busca do ChatGPT. A Anthropic separa o ClaudeBot (treinamento) do Claude-SearchBot e do Claude-User, e a Perplexity diz que o PerplexityBot não é usado para treinamento. A documentação de crawlers do Google diz que o Google-Extended não afeta a inclusão na Busca do Google, então bloqueá-lo não muda nada nos AI Overviews (o mapa completo de crawlers).

Duas falhas são comuns, e nenhuma aparece quando você olha o seu site no navegador.

• Bloqueado na borda. A proteção contra bots de uma CDN pode devolver um erro aos crawlers de IA mesmo quando o robots.txt os permite; a Cloudflare anunciou em 1º de julho de 2025 que passaria a bloquear crawlers de IA por padrão, a menos que paguem. Um verificador de robots.txt, como o nosso verificador de crawlers de IA gratuito, ainda vai mostrar todos os bots como permitidos, porque o bloqueio acontece no servidor.
• Vazio até o JavaScript rodar. Se o seu texto só aparece depois que os scripts são executados, muitos bots veem uma página em branco, ou um punhado de palavras onde uma pessoa vê milhares.

Mais uma do Google: para poder aparecer como link de apoio nos AI Overviews ou no AI Mode, a página precisa estar indexada e poder exibir um snippet; uma regra nosnippet ou um max-snippet apertado também a tira da resposta de IA.

Confira você mesmo em cinco minutos

Busque uma página importante como cada bot e veja o código de status e as palavras que voltam:

curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot" https://yoursite.com/
curl -s -o /dev/null -w "%{http_code}\n" -A "ClaudeBot" https://yoursite.com/
curl -s -A "OAI-SearchBot" https://yoursite.com/ | sed 's/<[^>]*>//g' | wc -w

Um 403 ou 503 significa que algo está bloqueando esse bot. Uma contagem de palavras muito abaixo do que você vê na página significa que o seu texto depende de JavaScript. Corrija o bloqueio na CDN e entregue o conteúdo principal no HTML.

Não. O llms.txt é um arquivo em markdown proposto para listar as suas páginas principais para modelos de linguagem. O guia do Google sobre os recursos de IA generativa dele, atualizado pela última vez em 10 de julho de 2026, diz que publicar um não prejudica nem ajuda a sua visibilidade na Busca do Google, porque a Busca não o usa, e nenhum dos mecanismos que monitoramos disse usar o llms.txt para ranqueamento.

O que encontramos, sem rodeios: buscamos o /llms.txt dos 300 domínios que os mecanismos de IA mais citaram nas nossas amostras. 129 publicavam um, e esses 129 sites foram citados 6.343 vezes. Uma citação apontou para um arquivo, um llms-full.txt; nenhuma apontou para um llms.txt. Dos dez domínios mais citados, oito não tinham arquivo e dois bloquearam a nossa verificação (o estudo do llms.txt). O Ahrefs chegou à mesma conclusão pelo outro lado: 97% dos arquivos da amostra de maio de 2026 dele não receberam nenhuma requisição.

Publicar não faz mal, e agentes que leem documentação de fato o usam. Se mesmo assim você for publicar um, escreva-o com o gerador de llms.txt e confira a versão no ar com o validador de llms.txt.