¿Qué es robots.txt?
robots.txt es un archivo de texto plano en la raíz de un sitio web que les dice a los rastreadores qué rutas pueden consultar, según el Robots Exclusion Protocol (RFC 9309). robots.txt es el control más antiguo que tiene un sitio sobre los rastreadores, y en la era de la IA carga más decisiones que nunca: el entrenamiento, la indexación para búsqueda y las consultas que dispara un usuario tienen cada una su propio bot, y una regla para uno no dice nada sobre los demás.
¿Cómo funciona robots.txt?
Funciona como un conjunto de grupos: cada uno nombra uno o más tokens de user-agent y lista rutas Allow y Disallow. Las reglas están estandarizadas como el Robots Exclusion Protocol en el RFC 9309 (Koster, Illyes, Zeller y Sassman, septiembre de 2022), que fija los detalles que siguen los rastreadores (RFC 9309, consultado el 15 de oct. de 2026):
- El archivo se llama robots.txt, en minúsculas, está en el nivel superior del host y se sirve como texto plano UTF-8.
- Cuando las reglas chocan, gana la coincidencia más específica: la que tiene más octetos.
- Los rastreadores deben procesar al menos 500 kibibytes del archivo y no deberían usar una copia en caché por más de 24 horas, salvo que el archivo no esté accesible.
- Una respuesta 4xx le permite a un rastreador traer cualquier cosa; una respuesta 5xx significa que debe asumir que todo está bloqueado.
- Las reglas no son una forma de autorización de acceso: son una solicitud, y una ruta listada queda visible para cualquiera.
¿Cómo se escriben reglas de robots.txt para rastreadores de IA?
Nombra cada bot por su token y decide cada función por separado. La postura más común es seguir siendo encontrable en la búsqueda con IA y dejar el contenido fuera del entrenamiento: permite los agentes de búsqueda y de consulta por usuario, y bloquea los rastreadores de entrenamiento que no quieras.
Cada host tiene su propio archivo, así que docs.example.com necesita sus propias reglas; Anthropic pide a los dueños de sitios agregar sus reglas en cada subdominio que quieran cubrir (Anthropic, 7 de abril de 2026).
# Encontrable en la búsqueda con IA y en consultas de usuarios
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Fuera del entrenamiento de modelos
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
Disallow: /¿Qué errores de robots.txt te esconden de las respuestas de IA?
Los más costosos suelen ser accidentales:
- Bloquear los agentes de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot) cuando la intención era bloquear el entrenamiento.
- Una regla general bajo User-agent: * que también atrapa a los rastreadores de búsqueda con IA.
- Una configuración de CDN o de seguridad que bloquea a los bots de IA antes de que lleguen a leer tu robots.txt.
- Reglas en www, pero no en el subdominio de documentación o de ayuda que los motores más quieren citar.
- Controles de fragmentos en páginas clave: Google dice que una página tiene que ser apta para mostrarse con fragmento para aparecer en AI Overviews o AI Mode (Google Search Central).
¿Qué decide robots.txt en un ejemplo real?
Decide si tus páginas pueden siquiera competir por las citas. En el ejemplo público de Tesla (4 de oct. de 2026), Perplexity dio 375 citas y Claude 351 en 25 preguntas de compra; tesla.com se llevó 3 y 1 de ellas.
Un sitio cuyo robots.txt bloquea los agentes de búsqueda de esos motores renuncia incluso a eso. Permitirlos no gana citas por sí solo; pone tus páginas en carrera.
¿Cómo revisas tu robots.txt para rastreadores de IA?
Trae el archivo en vivo desde internet, para cada host, y busca cada token por su nombre. El verificador gratuito de rastreadores de IA lee tu robots.txt en vivo e informa qué rastreadores de IA permite o bloquea, y Acceso de rastreadores en el Proofsource lo revisa junto con la capa de CDN y el texto renderizado.
Preguntas frecuentes sobre robots.txt
¿robots.txt impide que la IA use mi contenido?
Solo para los rastreadores que lo respetan, y solo desde que lo leen. Es una solicitud, no un candado, y los agentes de consulta que dispara un usuario, como Perplexity-User, documentan que en general lo ignoran.
¿Bloquear GPTBot me saca de ChatGPT?
No. GPTBot es el rastreador de entrenamiento de OpenAI. La búsqueda de ChatGPT depende de OAI-SearchBot, y OpenAI dice que cada configuración es independiente.
¿Cuánto tardan en aplicarse los cambios en robots.txt?
El RFC 9309 dice que los rastreadores no deberían depender de una copia en caché por más de 24 horas, y OpenAI dice que sus sistemas de búsqueda tardan unas 24 horas en reflejar un cambio.
¿llms.txt reemplaza a robots.txt?
No. robots.txt fija reglas para los rastreadores. llms.txt es una lista de lectura propuesta para modelos de lenguaje y no tiene ningún peso sobre el acceso.
Términos relacionados
- GPTBot
GPTBot es el rastreador web de OpenAI que recopila contenido que puede usarse para entrenar los modelos fundacionales de IA generativa de OpenAI.
- OAI-SearchBot
OAI-SearchBot es el rastreador de OpenAI para mostrar sitios web en las funciones de búsqueda de ChatGPT, y los sitios que lo excluyen no aparecen en las respuestas de búsqueda de ChatGPT.
- ClaudeBot
ClaudeBot es el rastreador web de Anthropic que recopila contenido de la web que puede contribuir al entrenamiento de los modelos Claude de Anthropic.
- llms.txt
llms.txt es un archivo markdown propuesto, en la raíz de un sitio web, que les dice a los modelos de lenguaje qué es el sitio y lista las páginas que más vale la pena leer.
Ejemplo práctico: Tesla, respuestas públicas de IA, 4 de oct. de 2026: el primer escaneo de Tesla hecho por Proofsource, con 25 preguntas de compra y 5 preguntas de marca, una respuesta por pregunta en cada uno de cuatro motores. Una muestra pequeña de una sola marca, mostrada como ejemplo, no como benchmark.
Ve dónde te deja fuera la IA, y qué corregir.
Ve qué preguntas de compra mencionan tu marca, a quién mencionan en tu lugar y qué corregir. 200 respuestas. 25 Prompts/pregunta. Los principales motores de IA. 2 días. Gratis. Sin tarjeta.
Google AI OverviewsGoogle AI Mode
