Comprobador de robots.txt para rastreadores de IA y Googlebot
Un comprobador de robots.txt gratuito. Pega tu robots.txt y lo leemos para 16 rastreadores, los bots de IA de OpenAI, Anthropic y Perplexity además de Googlebot y Bingbot, y te mostramos si cada uno está permitido, bloqueado o no mencionado, con la línea que lo decide.
Dieciséis rastreadores, de IA y de búsqueda, y para qué sirve cada uno.
Los resultados aparecen aquí. No se guarda nada y no interviene ningún modelo de IA: es una simple lectura del robots.txt.
GPTBot · OpenAI · Entrenamiento
Recopila páginas para entrenar modelos de OpenAI.
OAI-SearchBot · OpenAI · Buscar
Indexa páginas para que ChatGPT search pueda citarlas.
ChatGPT-User · OpenAI · Petición del usuario
Abre una página cuando un usuario de ChatGPT se lo pide.
ClaudeBot · Anthropic · Entrenamiento
Recopila páginas para entrenar modelos Claude.
Claude-SearchBot · Anthropic · Buscar
Indexa páginas para que Claude pueda citarlas en sus respuestas de búsqueda.
Claude-User · Anthropic · Petición del usuario
Abre una página cuando un usuario de Claude se lo pide.
anthropic-ai · Anthropic · Entrenamiento
Un token antiguo de Anthropic que muchos archivos robots.txt todavía nombran.
PerplexityBot · Perplexity · Buscar
Indexa páginas para que Perplexity pueda citarlas en sus respuestas.
Perplexity-User · Perplexity · Petición del usuario
Abre una página cuando un usuario de Perplexity se lo pide.
Google-Extended · Google · Entrenamiento
Decide si Gemini puede entrenarse con las páginas que rastrea Googlebot. La búsqueda no se ve afectada.
Googlebot · Google · Buscar
La Búsqueda de Google, la fuente de la que beben AI Overviews y AI Mode.
Bingbot · Microsoft · Buscar
Búsqueda de Bing, el índice en el que se apoyan las respuestas de Copilot.
Applebot-Extended · Apple · Entrenamiento
Decide si Apple puede entrenar sus modelos con las páginas que rastrea Applebot.
CCBot · Common Crawl · Entrenamiento
Crea el conjunto de datos abierto de Common Crawl con el que se entrenan muchos modelos.
Meta-ExternalAgent · Meta · Entrenamiento
Recopila páginas para entrenar modelos de Meta AI.
Bytespider · ByteDance · Entrenamiento
Recopila páginas para entrenar modelos de ByteDance.
Las reglas siguen la RFC 9309: un rastreador obedece los grupos que lo nombran y, si no hay ninguno, el grupo *; gana la regla coincidente más larga y, en caso de empate, gana Allow. El veredicto es para la página de inicio. Los rastreadores de entrenamiento alimentan modelos futuros; los rastreadores de búsqueda deciden si una respuesta de IA puede citarte hoy; las peticiones de usuario ocurren cuando alguien pide a un asistente que abra tu página.
robots.txt es solo la mitad del acceso. Un ajuste de bots de la CDN puede rechazar a un rastreador que robots.txt permite, y esta comprobación no puede verlo; el Acceso de rastreadores de Proofsource solicita tus páginas como cada rastreador para averiguarlo. Lee por qué bloquear GPTBot no te saca de ChatGPT, revisa tu archivo con el validador de llms.txt o empieza por la guía de visibilidad en IA.
Qué significan las respuestas.
¿Debo bloquear los rastreadores de entrenamiento?
Es una decisión de negocio. Bloquear GPTBot o ClaudeBot deja tus páginas fuera de futuros conjuntos de entrenamiento, pero no impide que ChatGPT o Claude te citen a través de sus rastreadores de búsqueda. Bloquear OAI-SearchBot, Claude-SearchBot o PerplexityBot sí te saca de esas respuestas.
¿Por qué un rastreador dice «no mencionada»?
Tu robots.txt no tiene un grupo para él, así que sigue el grupo *. Si tampoco hay grupo *, nada lo restringe.
¿Frena robots.txt a todos los bots?
No. Es una petición que las grandes empresas de IA dicen respetar. No bloquea a un rastreador que la ignore; eso lo hace una regla de cortafuegos.
Ser rastreable es el primer paso.
Proofsource muestra si ChatGPT, Perplexity, Claude y Google te mencionan de verdad, a qué competidores mencionan en tu lugar y qué corregir.