Verificador de robots.txt para rastreadores de IA y Googlebot
Un verificador de robots.txt gratuito. Pega tu robots.txt y lo leemos para 16 rastreadores, los bots de IA de OpenAI, Anthropic y Perplexity más Googlebot y Bingbot, y te mostramos si cada uno está permitido, bloqueado o no mencionado, con la línea que lo decide.
Dieciséis rastreadores, de IA y de búsqueda, y para qué sirve cada uno.
Los resultados aparecen aquí. No se guarda nada y no interviene ningún modelo de IA: es una lectura simple del robots.txt.
GPTBot · OpenAI · Entrenamiento
Recopila páginas para entrenar modelos de OpenAI.
OAI-SearchBot · OpenAI · Buscar
Indexa páginas para que ChatGPT search pueda citarlas.
ChatGPT-User · OpenAI · Solicitud del usuario
Abre una página cuando un usuario de ChatGPT se lo pide.
ClaudeBot · Anthropic · Entrenamiento
Recopila páginas para entrenar modelos Claude.
Claude-SearchBot · Anthropic · Buscar
Indexa páginas para que Claude pueda citarlas en respuestas de búsqueda.
Claude-User · Anthropic · Solicitud del usuario
Abre una página cuando un usuario de Claude se lo pide.
anthropic-ai · Anthropic · Entrenamiento
Un token antiguo de Anthropic que muchos archivos robots.txt todavía mencionan.
PerplexityBot · Perplexity · Buscar
Indexa páginas para que Perplexity pueda citarlas en sus respuestas.
Perplexity-User · Perplexity · Solicitud del usuario
Abre una página cuando un usuario de Perplexity se lo pide.
Google-Extended · Google · Entrenamiento
Decide si Gemini puede entrenarse con las páginas que rastrea Googlebot. La Búsqueda no se ve afectada.
Googlebot · Google · Buscar
La Búsqueda de Google, de la que se nutren AI Overviews y AI Mode.
Bingbot · Microsoft · Buscar
Búsqueda de Bing, el índice del que se nutren las respuestas de Copilot.
Applebot-Extended · Apple · Entrenamiento
Decide si Apple puede entrenar sus modelos con las páginas que rastrea Applebot.
CCBot · Common Crawl · Entrenamiento
Construye el dataset abierto de Common Crawl con el que se entrenan muchos modelos.
Meta-ExternalAgent · Meta · Entrenamiento
Recopila páginas para entrenar modelos de Meta AI.
Bytespider · ByteDance · Entrenamiento
Recopila páginas para entrenar modelos de ByteDance.
Las reglas siguen el RFC 9309: un rastreador obedece los grupos que lo nombran, y si no, el grupo *; gana la regla coincidente más larga, y Allow gana en caso de empate. El veredicto es para la página de inicio. Los rastreadores de entrenamiento alimentan los modelos futuros; los rastreadores de búsqueda deciden si una respuesta de IA puede citarte hoy; las visitas de usuario ocurren cuando alguien le pide a un asistente que abra tu página.
robots.txt es solo la mitad del acceso. Una configuración de bots en la CDN todavía puede rechazar a un rastreador que robots.txt permite, y esta revisión no puede verlo; el Acceso de rastreadores de Proofsource solicita tus páginas como cada rastreador para averiguarlo. Lee por qué bloquear GPTBot no te saca de ChatGPT, revisa tu archivo con el validador de llms.txt o empieza con la guía de visibilidad en IA.
Qué significan las respuestas.
¿Debería bloquear los rastreadores de entrenamiento?
Es una decisión de negocio. Bloquear GPTBot o ClaudeBot deja tus páginas fuera de futuros conjuntos de entrenamiento, pero no impide que ChatGPT o Claude te citen a través de sus rastreadores de búsqueda. Bloquear OAI-SearchBot, Claude-SearchBot o PerplexityBot sí te saca de esas respuestas.
¿Por qué un rastreador dice «no mencionado»?
Tu robots.txt no tiene un grupo para él, así que sigue el grupo *. Si tampoco hay grupo *, nada lo restringe.
¿robots.txt detiene a todos los bots?
No. Es una solicitud que las grandes empresas de IA dicen respetar. No bloquea a un rastreador que la ignore; eso lo hace una regla de firewall.
Ser rastreable es el primer paso.
Proofsource muestra si ChatGPT, Perplexity, Claude y Google realmente te mencionan, a qué competidores mencionan en tu lugar y qué corregir.