¿Qué es robots.txt?
robots.txt es un archivo de texto plano en la raíz de una web que indica a los rastreadores qué rutas pueden consultar, según el Robots Exclusion Protocol (RFC 9309). robots.txt es el control más antiguo que tiene una web sobre los rastreadores, y en la era de la IA soporta más decisiones que nunca: el entrenamiento, la indexación para búsqueda y las consultas que lanza un usuario tienen cada una su propio bot, y una regla para uno no dice nada de los demás.
¿Cómo funciona robots.txt?
Funciona como un conjunto de grupos: cada uno nombra uno o más tokens de user-agent y enumera rutas Allow y Disallow. Las reglas están estandarizadas como Robots Exclusion Protocol en el RFC 9309 (Koster, Illyes, Zeller y Sassman, septiembre de 2022), que fija los detalles que siguen los rastreadores (RFC 9309, consultado el 15 oct 2026):
- El archivo se llama robots.txt, en minúsculas, está en el nivel superior del host y se sirve como texto plano UTF-8.
- Cuando las reglas entran en conflicto, gana la coincidencia más específica: la que tiene más octetos.
- Los rastreadores deben procesar al menos 500 kibibytes del archivo y no deberían usar una copia en caché durante más de 24 horas, salvo que el archivo no esté accesible.
- Una respuesta 4xx permite a un rastreador obtener cualquier cosa; una respuesta 5xx significa que debe dar por hecho que todo está bloqueado.
- Las reglas no son una forma de autorización de acceso: son una petición, y cualquiera puede ver una ruta que aparezca en la lista.
¿Cómo se escriben reglas de robots.txt para rastreadores de IA?
Nombra cada bot por su token y decide cada función por separado. La postura más habitual es seguir apareciendo en la búsqueda con IA y dejar el contenido fuera del entrenamiento: permite los agentes de búsqueda y de consulta por usuario, y bloquea los rastreadores de entrenamiento que no quieras.
Cada host tiene su propio archivo, así que docs.example.com necesita sus propias reglas; Anthropic pide a los propietarios de webs que añadan sus reglas en cada subdominio que quieran cubrir (Anthropic, 7 de abril de 2026).
# Visible en la búsqueda con IA y en consultas de usuarios
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Fuera del entrenamiento de modelos
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /¿Qué errores de robots.txt te ocultan en las respuestas de IA?
Los más caros suelen ser accidentales:
- Bloquear los agentes de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) cuando la intención era bloquear el entrenamiento.
- Una regla general bajo User-agent: * que también atrapa a los rastreadores de búsqueda con IA.
- Una configuración de CDN o de seguridad que bloquea a los bots de IA antes de que lleguen a leer tu robots.txt.
- Reglas en www, pero no en el subdominio de documentación o de ayuda, que es el que más quieren citar los motores.
- Controles de fragmentos en páginas clave: Google dice que una página tiene que poder mostrarse con fragmento para aparecer en AI Overviews o AI Mode (Google Search Central).
¿Qué decide robots.txt en un ejemplo real?
Decide si tus páginas pueden siquiera competir por las citas. En el ejemplo público de Tesla (4 oct 2026), Perplexity dio 375 citas y Claude 351 en 25 preguntas de compra; tesla.com se llevó 3 y 1 de ellas.
Una web cuyo robots.txt bloquea los agentes de búsqueda de esos motores renuncia incluso a eso. Permitirlos no gana citas por sí solo; pone tus páginas en la carrera.
¿Cómo compruebas tu robots.txt para rastreadores de IA?
Descarga el archivo publicado desde internet, para cada host, y busca cada token por su nombre. El comprobador gratuito de rastreadores de IA lee tu robots.txt publicado e indica qué rastreadores de IA permite o bloquea, y Acceso de rastreadores en Proofsource lo comprueba junto con la capa de CDN y el texto renderizado.
Preguntas frecuentes sobre robots.txt
¿robots.txt impide que la IA use mi contenido?
Solo con los rastreadores que lo respetan, y solo desde que lo leen. Es una petición, no un candado, y los agentes de consulta que lanza un usuario, como Perplexity-User, documentan que por lo general lo ignoran.
¿Bloquear GPTBot me saca de ChatGPT?
No. GPTBot es el rastreador de entrenamiento de OpenAI. La búsqueda de ChatGPT depende de OAI-SearchBot, y OpenAI dice que cada ajuste es independiente.
¿Cuánto tardan en aplicarse los cambios de robots.txt?
El RFC 9309 dice que los rastreadores no deberían depender de una copia en caché durante más de 24 horas, y OpenAI dice que sus sistemas de búsqueda tardan unas 24 horas en reflejar un cambio.
¿llms.txt sustituye a robots.txt?
No. robots.txt fija reglas para los rastreadores. llms.txt es una lista de lectura propuesta para modelos de lenguaje y no tiene ningún peso sobre el acceso.
Términos relacionados
- GPTBot
GPTBot es el rastreador web de OpenAI que recopila contenido que puede usarse para entrenar los modelos fundacionales de IA generativa de OpenAI.
- OAI-SearchBot
OAI-SearchBot es el rastreador de OpenAI para mostrar webs en las funciones de búsqueda de ChatGPT, y las webs que lo excluyen no aparecen en las respuestas de búsqueda de ChatGPT.
- ClaudeBot
ClaudeBot es el rastreador web de Anthropic que recopila contenido de la web que puede contribuir al entrenamiento de los modelos Claude de Anthropic.
- llms.txt
llms.txt es un archivo markdown propuesto, en la raíz de una web, que explica a los modelos de lenguaje qué es la web y enumera las páginas que más merece la pena leer.
Ejemplo práctico: Tesla, respuestas públicas de IA, 4 de oct. de 2026: el primer análisis de Tesla hecho por Proofsource, con 25 preguntas de compra y 5 preguntas de marca, una respuesta por pregunta en cada uno de cuatro motores. Una muestra pequeña de una sola marca, presentada como ejemplo, no como comparativa.
Ve dónde te deja fuera la IA y qué corregir.
Ve qué preguntas de compra mencionan tu marca, a quién mencionan en tu lugar y qué corregir. 200 respuestas. 25 Prompts/pregunta. Los principales motores de IA. 2 días. Gratis. Sin tarjeta.
Google AI OverviewsGoogle AI Mode
