Notas de campo4 min de lectura

El robots.txt permitía los rastreadores de IA en 21 de las 32 webs cuyo servidor los rechazó

Un comprobador de robots.txt lee el archivo y se para ahí. El servidor, la CDN y el cortafuegos deciden si un rastreador recibe de verdad la página, y en nuestra muestra rechazaron rastreadores casi tres veces más a menudo que el robots.txt.

Revisamos 199 webs en el robots.txt y en el servidor

¿Cómo compruebo qué rastreadores de IA bloquea mi web? La mayoría de los comprobadores, el nuestro gratuito incluido, leen el robots.txt y ahí se quedan. El estándar del archivo, el RFC 9309, es claro sobre sus límites: «Estas reglas no son una forma de autorización de acceso». Una regla pide a un rastreador que no entre. Que una petición reciba la página lo deciden tu servidor, tu CDN y tu cortafuegos.

Proofsource audita la web de cada marca que sigue. Tomamos la auditoría más reciente de cada web entre el 5 de octubre y el 20 de noviembre de 2026: 199 webs, sin nuestros dominios ni los de prueba. Cada auditoría lee el robots.txt para cada rastreador de IA y después pide la página de inicio una vez por rastreador, con el User-Agent publicado de ese rastreador. Anota si el servidor sirvió la página o respondió 401, 403, 429 o un desafío antibots.

Los servidores rechazaron GPTBot en 32 webs; el robots.txt lo bloqueaba en 12

El servidor rechazó una petición que se identificaba como GPTBot en 32 de las 199 webs: el 16,1 % (del 11,6 % al 21,8 %). El robots.txt prohibía GPTBot en 12 (el 6,0 %).

En 21 de esas 32 webs, el robots.txt permitía todos los rastreadores de IA que comprobamos. Revisar solo el archivo les habría dicho a las 21 que estaban abiertas a la IA.

Una vez ocurrió al revés. Una web prohibía GPTBot en el robots.txt y su servidor entregó la página igualmente. El archivo es una petición en los dos sentidos.

La mayoría de los bloqueos del servidor tocaron a los rastreadores de entrenamiento y respetaron a los de búsqueda

En 20 webs el servidor rechazó GPTBot pero sirvió a OAI-SearchBot y ChatGPT-User, y 15 de ellas rechazaron también ClaudeBot. Ese reparto parece elegido. La documentación de OpenAI sobre sus rastreadores los trata como ajustes independientes: GPTBot recoge datos de entrenamiento y OAI-SearchBot busca páginas que mostrar en la búsqueda de ChatGPT. Rechazar el primero no te saca del segundo.

13 webs rechazaron los rastreadores que llevan páginas a las respuestas

Para que te citen, los rastreadores que cuentan son los agentes de búsqueda y de usuario. 13 webs (el 6,5 %) rechazaron al menos uno de OAI-SearchBot, ChatGPT-User o PerplexityBot. El robots.txt los prohibía solo en una de esas 13.

10 webs rechazaron todos los rastreadores de IA que enviamos. 7 de esas 10 respondieron con un desafío antibots de Cloudflare en lugar de una página de error normal. OpenAI dice que una web que excluye OAI-SearchBot no aparecerá en las respuestas de búsqueda de ChatGPT, y pide a las webs que quieran aparecer que permitan sus rangos de IP publicados, además de su nombre en el robots.txt.

Probablemente nadie escribió a mano algunos de estos bloqueos

Cloudflare añadió en septiembre de 2024 una opción de un clic para bloquear rastreadores de IA y dice que más de un millón de clientes la activaron. Desde el 1 de julio de 2025 pregunta a cada dominio nuevo, al darse de alta, si quiere permitir rastreadores de IA. Un ajuste elegido una vez en un panel, o por quien configuró la cuenta, no aparece en el robots.txt. Si un rastreador está rechazado y nadie de tu equipo recuerda haberlo decidido, mira ahí primero.

Comprueba las dos cosas en diez minutos

  • Lee primero el robots.txt para los rastreadores de respuestas: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Después decide por separado sobre los rastreadores de entrenamiento, GPTBot y ClaudeBot.
  • Pide tu página de inicio con curl, con el nombre de cada rastreador como User-Agent. Un 403, un 429 o una página de desafío significa que el servidor lo rechazó, diga lo que diga el robots.txt.
  • Abre los ajustes de bots y de rastreadores de IA de tu CDN y mira cómo está configurado cada rastreador. En Cloudflare, revisa tanto los controles de rastreadores de IA como cualquier regla que bloquee bots de IA.
  • Si tu cortafuegos solo deja pasar bots verificados, comprueba que los rangos de IP publicados por las empresas de IA estén en su lista de permitidos y luego busca respuestas 403 a esos rastreadores en tus registros.

Cómo lo comprueba Proofsource

Cada auditoría de web de Proofsource lee el robots.txt para cada rastreador de IA y pide tu página de inicio como cada uno de ellos. Cuando el robots.txt permite un rastreador y el servidor lo rechaza, el primer análisis lo indica en una línea propia, con el ajuste que hay que cambiar.

Dónde podríamos equivocarnos

Nuestras peticiones salieron de nuestros servidores, no de los de OpenAI, Anthropic o Perplexity. Un cortafuegos que comprueba de dónde viene una petición puede rechazar la nuestra y aun así servir al rastreador real. Eso afecta sobre todo a los desafíos antibots. Toma un rechazo como motivo para abrir los ajustes de tu CDN, no como prueba de que ChatGPT no puede leerte.

Una petición por rastreador, solo a la página de inicio, en un único momento. 5 de los rechazos fueron límites de frecuencia 429, que pueden ser pasajeros. Otras páginas pueden tener otras reglas.

199 webs de marcas seguidas en Proofsource, que no son una muestra aleatoria de la web. Las auditorías más antiguas enviaron cinco rastreadores y las más recientes ocho, así que los recuentos de Claude-SearchBot, Claude-User y Perplexity-User cubren 189 webs. No vimos los registros de las webs, así que no podemos decir cómo se respondió a las visitas de rastreadores reales.

De dónde salen las cifras externas

  1. RFC 9309: Robots Exclusion Protocol · IETF
  2. Overview of OpenAI Crawlers · OpenAI
  3. Cloudflare Just Changed How AI Crawlers Scrape the Internet-at-Large · Cloudflare
  4. Comprobador gratuito de robots.txt para GPTBot y ClaudeBot · Proofsource
Todas las notas

Preguntas

¿El robots.txt bloquea los rastreadores de IA?

Les pide que no entren, y las grandes empresas de IA dicen que lo respetan, pero no detiene una petición. En nuestra auditoría de 199 webs, una web prohibía GPTBot en el robots.txt y su servidor entregó la página igualmente.

¿Cómo sé si Cloudflare está bloqueando ChatGPT?

Pide tu página de inicio con el User-Agent OAI-SearchBot y busca un 403 o una página de desafío; después revisa tus ajustes de rastreadores de IA en Cloudflare. En nuestra muestra, 7 de las 10 webs que rechazaron todos los rastreadores de IA lo hicieron con un desafío antibots de Cloudflare.

Si bloqueo GPTBot, ¿desaparezco de ChatGPT?

De la búsqueda de ChatGPT, no. OpenAI documenta GPTBot (entrenamiento) y OAI-SearchBot (búsqueda) como ajustes independientes. En 20 de las 199 webs que revisamos, el servidor rechazó GPTBot y aun así sirvió a OAI-SearchBot.

Tus propias cifras superan nuestro mejor artículo.

La lista corta de tu categoría se está escribiendo ahora mismo, lea alguien esta página o no. Una prueba gratuita, 25 preguntas en cuatro motores hoy, te dice si tu nombre está en ella.

100 respuestas. 25 Prompts/pregunta. Los principales motores de IA. Gratis.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI