OpenAI envía cuatro agentes, y solo uno controla la búsqueda de ChatGPT
Circula un fragmento de robots.txt que bloquea GPTBot. Mucha gente lo pegó y sintió que había resuelto el tema de ChatGPT. Resolvió un tema. Solo que no ese.
OpenAI documenta cuatro user agents, cada uno con su propio trabajo. GPTBot rastrea contenido que puede usarse para entrenar los modelos base. OAI-SearchBot es el que se usa para mostrar sitios en las funciones de búsqueda de ChatGPT, y la propia página de OpenAI dice que los sitios que lo bloqueen no se mostrarán en las respuestas de búsqueda de ChatGPT, aunque todavía pueden aparecer como enlaces de navegación. ChatGPT-User descarga una página cuando una persona le pregunta algo a ChatGPT, y como lo inició un usuario, OpenAI dice que las reglas de robots.txt podrían no aplicar. OAI-AdsBot solo visita páginas enviadas como anuncios.
OpenAI deja claro que cada ajuste es independiente. Puedes permitir OAI-SearchBot y bloquear GPTBot, lo que dice sí a que te encuentren y no a ser datos de entrenamiento. Es una postura razonable para la mayoría de las empresas, y casi ningún robots.txt que leímos la expresa. Dale más o menos un día en cualquier sentido: OpenAI dice que sus sistemas tardan unas 24 horas en reflejar un cambio en robots.txt.
Anthropic lo divide en tres, y Perplexity te ignora cuando pregunta una persona
Anthropic usa tres. ClaudeBot recopila contenido web que puede usarse para entrenamiento. Claude-SearchBot indexa contenido para mejorar los resultados de búsqueda. Claude-User descarga una página cuando alguien le hace una pregunta a Claude. La página de ayuda de Anthropic explica la consecuencia de cada uno: desactiva Claude-SearchBot y tu contenido deja de indexarse para búsqueda; desactiva Claude-User y Claude deja de recuperar tu página en respuesta a la pregunta de un usuario.
Perplexity usa dos. PerplexityBot existe para mostrar y enlazar sitios en los resultados de Perplexity y no se usa para recopilar datos de entrenamiento. Perplexity-User visita una página cuando alguien hace una pregunta, y la documentación de Perplexity dice en voz alta lo que otros callan: como la descarga la pidió un usuario, ese agente en general ignora robots.txt.
Súmalo y la regla general de bloquear a los bots de IA termina en un lugar raro. De los nueve agentes de arriba, la mayoría de los que la gente quiere frenar son los que ponen tu enlace frente a un comprador, y uno de ellos ni siquiera le hace caso a robots.txt.
Google-Extended no tiene nada que ver con AI Overviews
Este es el que más le cuesta a la gente. Google-Extended es un token de robots.txt, sin un user agent propio, que controla si el contenido rastreado entrena futuros modelos Gemini y da contexto a las apps de Gemini. La documentación de rastreadores de Google afirma sin rodeos que no afecta la inclusión de un sitio en la Búsqueda de Google y que no se usa como señal de posicionamiento. Bloquearlo no le hace nada a AI Overviews.
AI Overviews y AI Mode son parte de la Búsqueda. Google lo dice en su propia guía para dueños de sitios: la IA está integrada en la Búsqueda, y las directivas de robots.txt para Googlebot son el control. Luego viene la frase que atrapa a la gente. Para ser apta como enlace de apoyo en AI Overviews o AI Mode, una página tiene que estar indexada y ser apta para mostrarse con un fragmento. Si tú o alguien antes que tú puso nosnippet, data-nosnippet o un max-snippet estricto para alejar a los scrapers, te sacaste de la respuesta de IA, y nada en tu analítica lo reportó.
La misma guía de Google dice que no necesitas crear nuevos archivos legibles por máquinas ni archivos de texto para IA para aparecer en estas funciones. Hace tiempo que le decimos a la gente que no trate llms.txt como una solución: ninguno de los motores que observamos lo documenta como señal de posicionamiento. Es útil que Google diga la versión general con sus propias palabras.
Tu CDN tal vez ya decidió esto por ti
El 1 de julio de 2025, Cloudflare anunció que cambiaba el comportamiento predeterminado para bloquear a los rastreadores de IA a menos que paguen por el contenido, y lanzó un robots.txt administrado que sirve en tu nombre y mantiene actualizado a medida que aparecen bots nuevos. A cada sitio nuevo que entra a Cloudflare ahora se le pide tomar esta decisión al configurarlo.
Así que, para muchas empresas, la respuesta honesta a qué dice mi robots.txt sobre ChatGPT es no lo sé, lo escribe mi CDN. Una regla de WAF hace el mismo trabajo de forma todavía más completa. La solicitud nunca llega a tu servidor de origen, así que nada en tus registros ni en tu analítica deja constancia de una visita que no ocurrió. Tu página sigue posicionándose, sigue cargando, y a ti te sigue pareciendo bien.
Y una descarga que sí llega todavía tiene que volver con palabras. Una página renderizada en el cliente les entrega a estos agentes un 200 y un contenedor vacío, que para ti es una página que funciona y para ellos no es nada.
Seis revisiones que lo resuelven en una tarde
Nada de esto necesita una herramienta. Necesita curl, tus registros y una hora. Nosotros lo hacemos como una auditoría de accesibilidad para bots con la analítica de rastreadores de Cloudflare detrás, pero puedes hacer cada punto tú mismo.
- Descarga tu robots.txt desde internet, no desde tu repositorio, y busca cada token por nombre: OAI-SearchBot, GPTBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot.
- Hazlo en cada subdominio. docs.example.com y www.example.com son archivos separados y decisiones separadas, y el subdominio de documentación suele ser el que quieres que se cite.
- Pide una página que quieras que se cite usando el user agent publicado de cada agente, y lee lo que vuelve. Un 200 con un div vacío es una falla, no un aprobado.
- Busca en tu CDN y tu WAF un robots.txt administrado o una regla de bots que nadie del equipo actual haya escrito.
- Revisa el head de tus mejores páginas en busca de noindex, nosnippet, data-nosnippet y max-snippet. Cualquiera de ellos puede sacar una página, sin hacer ruido, de la elegibilidad para AI Overviews.
- Busca con grep los nombres de los agentes en tus registros de acceso y luego compara las direcciones de origen con los rangos de IP que publican OpenAI, Perplexity y Anthropic. Escribir un user agent no cuesta nada. El rango de direcciones es lo que verifica.
Dónde podríamos estar equivocados
Todo lo de arriba es cada motor describiendo sus propios rastreadores, y tanto los tokens como el comportamiento cambian. La página de Anthropic lleva fecha de abril de 2026, la lista de rastreadores de Google se actualizó por última vez en julio de 2026, y OpenAI agrega un agente cada vez que lanza un producto que descarga páginas. Lee la documentación vigente antes de cambiar una línea, no este artículo.
robots.txt es una petición. Que una empresa diga que su bot lo respeta es una declaración de política y no un mecanismo de cumplimiento, y dos de los agentes de aquí documentan que no lo aplican en absoluto a las solicitudes iniciadas por usuarios. Si necesitas que algo no se lea, robots.txt nunca fue la herramienta.
Dejar entrar a un rastreador tampoco hace que te citen. El acceso es el piso, no la respuesta. En la categoría que muestreamos, las listas fueron el 44% de lo que citó ChatGPT para una pregunta de “los mejores”, así que ser legible y ser elegido son dos problemas distintos. Nuestro 44% es una sola medición sobre la muestra que tomamos, no una constante.
Aun así vale una tarde, porque esta falla es silenciosa por naturaleza. Nada en ningún lado reporta una descarga que nunca ocurrió.
