Notas de campo4 min de lectura

El robots.txt dejaba pasar a los rastreadores de IA en 21 de los 32 sitios cuyo servidor los rechazó

Un verificador de robots.txt lee el archivo y ahí se detiene. El servidor, la CDN y el firewall deciden si un rastreador recibe la página de verdad, y en nuestra muestra rechazaron rastreadores casi tres veces más seguido que el robots.txt.

Revisamos 199 sitios en el robots.txt y en el servidor

¿Cómo reviso qué rastreadores de IA bloquea mi sitio? La mayoría de los verificadores, incluido el nuestro gratuito, leen el robots.txt y ahí terminan. El estándar del archivo, el RFC 9309, es directo sobre sus límites: "Estas reglas no son una forma de autorización de acceso". Una regla le pide a un rastreador que no entre. Si una solicitud recibe la página lo deciden tu servidor, tu CDN y tu firewall.

Proofsource audita el sitio de cada marca que monitorea. Tomamos la auditoría más reciente de cada sitio entre el 5 de octubre y el 20 de noviembre de 2026: 199 sitios, sin nuestros dominios ni los de prueba. Cada auditoría lee el robots.txt para cada rastreador de IA y luego pide la página de inicio una vez por rastreador, con el User-Agent publicado de ese rastreador. Registra si el servidor entregó la página o respondió 401, 403, 429 o un desafío anti bots.

Los servidores rechazaron a GPTBot en 32 sitios; el robots.txt lo bloqueó en 12

El servidor rechazó una solicitud que se identificaba como GPTBot en 32 de los 199 sitios: 16.1% (11.6% a 21.8%). El robots.txt prohibía a GPTBot en 12 (6.0%).

En 21 de esos 32 sitios, el robots.txt permitía a todos los rastreadores de IA que revisamos. Revisar solo el archivo les habría dicho a los 21 que estaban abiertos a la IA.

Una vez pasó al revés. Un sitio prohibía a GPTBot en el robots.txt y su servidor entregó la página de todos modos. El archivo es una petición en los dos sentidos.

La mayoría de los bloqueos del servidor afectaron a los rastreadores de entrenamiento y dejaron pasar a los de búsqueda

En 20 sitios el servidor rechazó a GPTBot pero atendió a OAI-SearchBot y ChatGPT-User, y 15 de ellos también rechazaron a ClaudeBot. Esa división parece elegida. La documentación de OpenAI sobre sus rastreadores los trata como ajustes separados: GPTBot reúne datos de entrenamiento y OAI-SearchBot encuentra páginas para mostrar en la búsqueda de ChatGPT. Rechazar al primero no te saca del segundo.

13 sitios rechazaron a los rastreadores que llevan páginas a las respuestas

Para que te citen, los rastreadores que cuentan son los agentes de búsqueda y de usuario. 13 sitios (6.5%) rechazaron al menos a uno de OAI-SearchBot, ChatGPT-User o PerplexityBot. El robots.txt los prohibía solo en uno de esos 13.

10 sitios rechazaron a todos los rastreadores de IA que enviamos. 7 de esos 10 respondieron con un desafío anti bots de Cloudflare en vez de una página de error simple. OpenAI dice que un sitio que excluye a OAI-SearchBot no aparecerá en las respuestas de búsqueda de ChatGPT, y pide a los sitios que quieran aparecer que permitan sus rangos de IP publicados, además de su nombre en el robots.txt.

Es probable que algunos de estos bloqueos nunca los escribiera nadie a mano

Cloudflare agregó en septiembre de 2024 una opción de un clic para bloquear rastreadores de IA y dice que más de un millón de clientes la activaron. Desde el 1 de julio de 2025 pregunta a cada dominio nuevo, al registrarse, si quiere permitir rastreadores de IA. Un ajuste elegido una vez en un panel, o por quien configuró la cuenta, no aparece en el robots.txt. Si un rastreador está rechazado y nadie en tu equipo recuerda haberlo decidido, empieza a buscar ahí.

Revisa las dos cosas en diez minutos

  • Lee primero el robots.txt para los rastreadores de respuestas: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Después decide por separado sobre los rastreadores de entrenamiento, GPTBot y ClaudeBot.
  • Pide tu página de inicio con curl, poniendo como User-Agent el nombre de cada rastreador. Un 403, un 429 o una página de desafío significa que el servidor lo rechazó, diga lo que diga el robots.txt.
  • Abre los ajustes de bots y de rastreadores de IA de tu CDN y lee cómo está configurado cada rastreador. En Cloudflare, revisa tanto los controles de rastreadores de IA como cualquier regla que bloquee bots de IA.
  • Si tu firewall solo deja pasar bots verificados, asegúrate de que los rangos de IP publicados por las empresas de IA estén en su lista de permitidos, y luego busca respuestas 403 a esos rastreadores en tus registros.

Cómo lo revisa Proofsource

Cada auditoría de sitio de Proofsource lee el robots.txt para cada rastreador de IA y pide tu página de inicio como cada uno de ellos. Cuando el robots.txt permite a un rastreador y el servidor lo rechaza, el primer escaneo lo indica en una línea propia, con el ajuste que hay que cambiar.

Dónde podríamos estar equivocados

Nuestras solicitudes salieron de nuestros servidores, no de los de OpenAI, Anthropic o Perplexity. Un firewall que revisa de dónde viene una solicitud puede rechazar la nuestra y aun así atender al rastreador real. Eso aplica sobre todo a los desafíos anti bots. Toma un rechazo como motivo para abrir los ajustes de tu CDN, no como prueba de que ChatGPT no puede leerte.

Una solicitud por rastreador, solo a la página de inicio, en un único momento. 5 de los rechazos fueron límites de frecuencia 429, que pueden ser pasajeros. Otras páginas pueden tener otras reglas.

199 sitios de marcas monitoreadas en Proofsource, que no son una muestra aleatoria de la web. Las auditorías más antiguas enviaron cinco rastreadores y las más recientes ocho, así que los conteos de Claude-SearchBot, Claude-User y Perplexity-User cubren 189 sitios. No vimos los registros de los sitios, así que no podemos decir cómo se respondieron las visitas de rastreadores reales.

De dónde salen las cifras externas

  1. RFC 9309: Robots Exclusion Protocol · IETF
  2. Overview of OpenAI Crawlers · OpenAI
  3. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large · Cloudflare
  4. Verificador gratis de robots.txt para GPTBot y otros · Proofsource
Todas las notas

Preguntas

¿El robots.txt bloquea a los rastreadores de IA?

Les pide que no entren, y las grandes empresas de IA dicen que lo respetan, pero no detiene una solicitud. En nuestra auditoría de 199 sitios, un sitio prohibía a GPTBot en el robots.txt y su servidor entregó la página de todos modos.

¿Cómo sé si Cloudflare está bloqueando a ChatGPT?

Pide tu página de inicio con el User-Agent OAI-SearchBot y busca un 403 o una página de desafío; luego lee tus ajustes de rastreadores de IA en Cloudflare. En nuestra muestra, 7 de los 10 sitios que rechazaron a todos los rastreadores de IA lo hicieron con un desafío anti bots de Cloudflare.

Si bloqueo a GPTBot, ¿desaparezco de ChatGPT?

De la búsqueda de ChatGPT, no. OpenAI documenta GPTBot (entrenamiento) y OAI-SearchBot (búsqueda) como ajustes separados. En 20 de los 199 sitios que revisamos, el servidor rechazó a GPTBot y aun así atendió a OAI-SearchBot.

Tus propios números superan a nuestro mejor post.

La lista corta de tu categoría se está escribiendo ahora mismo, la lea alguien o no. Una prueba gratuita, 25 preguntas en cuatro motores hoy, te dice si tu nombre está en ella.

100 respuestas. 25 Prompts/pregunta. Los principales motores de IA. Gratis.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI