OpenAI envía cuatro agentes, y solo uno controla la búsqueda de ChatGPT
Circula un fragmento de robots.txt que prohíbe el paso a GPTBot. Mucha gente lo pegó y sintió que había resuelto la cuestión de ChatGPT. Resolvió una cuestión. Solo que no esa.
OpenAI documenta cuatro user agents, cada uno con su trabajo. GPTBot rastrea contenido que puede usarse para entrenar los modelos fundacionales. OAI-SearchBot es el que se usa para mostrar webs en las funciones de búsqueda de ChatGPT, y la propia página de OpenAI dice que las webs que lo excluyan no se mostrarán en las respuestas de búsqueda de ChatGPT, aunque pueden seguir apareciendo como enlaces de navegación. ChatGPT-User descarga una página cuando una persona le pregunta algo a ChatGPT, y como la inició un usuario, OpenAI dice que puede que no se apliquen las reglas de robots.txt. OAI-AdsBot solo visita páginas enviadas como anuncios.
OpenAI deja claro que cada ajuste es independiente. Puedes permitir OAI-SearchBot y prohibir GPTBot, lo que dice sí a que te encuentren y no a ser datos de entrenamiento. Es una postura razonable para casi cualquier empresa, y casi ningún robots.txt de los que leímos la expresa de verdad. Cuenta con un día en cualquier caso: OpenAI dice que sus sistemas tardan unas 24 horas en ponerse al día tras un cambio en robots.txt.
Anthropic lo divide en tres, y Perplexity no te hace caso cuando pregunta una persona
Anthropic tiene tres. ClaudeBot recoge contenido web que puede ir al entrenamiento. Claude-SearchBot indexa contenido para mejorar los resultados de búsqueda. Claude-User descarga una página cuando alguien le hace una pregunta a Claude. La página de ayuda de Anthropic explica la consecuencia de cada uno: desactiva Claude-SearchBot y tu contenido deja de indexarse para la búsqueda; desactiva Claude-User y Claude deja de recuperar tu página en respuesta a la pregunta de un usuario.
Perplexity tiene dos. PerplexityBot existe para mostrar y enlazar webs en los resultados de Perplexity y no se usa en absoluto para recoger datos de entrenamiento. Perplexity-User visita una página cuando alguien hace una pregunta, y la documentación de Perplexity dice en voz alta lo que otros callan: como la descarga la pidió un usuario, ese agente suele ignorar robots.txt.
Súmalo todo y la regla general de bloquear los bots de IA acaba en un sitio raro. De los nueve agentes de arriba, la mayoría de los que la gente quiere frenar son los que ponen tu enlace delante de un comprador, y uno de ellos ni siquiera hace caso a robots.txt.
Google-Extended no tiene nada que ver con AI Overviews
Este es el que más le cuesta a la gente. Google-Extended es un token de robots.txt, sin cadena de user agent propia, que controla si el contenido rastreado entrena futuros modelos de Gemini y fundamenta las apps de Gemini. La documentación de rastreadores de Google dice tajantemente que no afecta a la inclusión de una web en la Búsqueda de Google y que no se usa como señal de posicionamiento. Bloquearlo no le hace nada a AI Overviews.
AI Overviews y AI Mode son la Búsqueda. Google lo dice en sus propias indicaciones para propietarios de webs: la IA está integrada en la Búsqueda, y las directivas de robots.txt para Googlebot son el control. Luego viene la frase que pilla a la gente. Para poder ser un enlace de apoyo en AI Overviews o AI Mode, una página tiene que estar indexada y ser apta para mostrarse con un fragmento. Si tú o alguien antes que tú puso nosnippet, data-nosnippet o un max-snippet muy corto para frenar a los scrapers, te sacaste de la respuesta de IA, y nada en tu analítica lo avisó.
La misma guía de Google dice que no necesitas crear nuevos archivos legibles por máquinas ni archivos de texto para IA para aparecer en estas funciones. Llevamos tiempo diciendo que no se trate llms.txt como una solución: ninguno de los motores que seguimos lo documenta como señal de posicionamiento. Viene bien que Google diga la versión general con sus propias palabras.
Puede que tu CDN ya haya decidido esto por ti
El 1 de julio de 2025, Cloudflare anunció que cambiaba la opción por defecto para bloquear los rastreadores de IA salvo que paguen por el contenido, y lanzó un robots.txt gestionado que sirve en tu nombre y mantiene al día a medida que aparecen bots nuevos. Ahora a cada web nueva que se da de alta en Cloudflare se le pide esta decisión durante la configuración.
Así que, para muchas empresas, la respuesta honesta a qué dice mi robots.txt sobre ChatGPT es no lo sé, lo escribe mi CDN. Una regla de WAF hace lo mismo de forma más completa. La petición nunca llega a tu origen, así que nada en tus registros ni en tu analítica apunta una visita que no ocurrió. Tu página sigue posicionando, sigue cargando y sigue viéndose bien para ti.
Y una descarga que llega todavía tiene que volver con palabras. Una página renderizada en el cliente les da a estos agentes un 200 y un contenedor vacío, que para ti parece una página que funciona y para ellos no es nada.
Seis comprobaciones que lo resuelven en una tarde
Nada de esto necesita una herramienta. Necesita curl, tus registros y una hora. Nosotros lo hacemos como auditoría de accesibilidad para bots con la analítica de rastreadores de Cloudflare detrás, pero puedes hacer cada línea tú mismo.
- Descarga tu robots.txt desde internet, no desde tu repositorio, y busca en él cada token por su nombre: OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot.
- Hazlo en cada subdominio. docs.example.com y www.example.com son archivos distintos y decisiones distintas, y el subdominio de documentación suele ser el que quieres que se cite.
- Pide una página que quieras que se cite usando la cadena de user agent publicada de cada agente, y lee lo que vuelve. Un 200 con un div vacío es un fallo, no un aprobado.
- Busca en tu CDN y tu WAF un robots.txt gestionado o una regla de bots que no escribiera nadie del equipo actual.
- Revisa la cabecera de tus mejores páginas en busca de noindex, nosnippet, data-nosnippet y max-snippet. Cualquiera de ellos puede sacar sin hacer ruido una página de la elegibilidad para AI Overviews.
- Busca con grep los nombres de los agentes en tus registros de acceso, y luego comprueba las direcciones de origen con los rangos de IP que publican OpenAI, Perplexity y Anthropic. Escribir una cadena de user agent es gratis. El rango de direcciones es lo que verifica.
Dónde podría fallar esto
Todo lo de arriba es cada motor describiendo sus propios rastreadores, y tanto los tokens como el comportamiento cambian. La página de Anthropic lleva fecha de abril de 2026, la lista de rastreadores de Google se actualizó por última vez en julio de 2026 y OpenAI añade un agente cada vez que lanza un producto que descarga páginas. Lee la documentación en vigor antes de cambiar una línea, no este artículo.
robots.txt es una petición. Que una empresa diga que su bot lo respeta es una declaración de política y no un mecanismo de cumplimiento, y dos de los agentes de aquí documentan que no lo aplican en absoluto a las peticiones iniciadas por usuarios. Si necesitas que algo no se lea, robots.txt nunca fue la herramienta.
Dejar entrar a un rastreador tampoco hace que te citen. El acceso es el suelo, no la respuesta. En la categoría que muestreamos, las listas fueron el 44 % de lo que citó ChatGPT para una pregunta de «los mejores», así que ser legible y ser elegido son dos problemas distintos. Nuestro 44 % es una sola medición sobre la muestra que tomamos, no una constante.
Aun así merece la pena una tarde, porque este fallo es silencioso por definición. En ningún sitio se informa de una descarga que nunca ocurrió.
