Revisamos 199 webs en el robots.txt y en el servidor
¿Cómo compruebo qué rastreadores de IA bloquea mi web? La mayoría de los comprobadores, el nuestro gratuito incluido, leen el robots.txt y ahí se quedan. El estándar del archivo, el RFC 9309, es claro sobre sus límites: «Estas reglas no son una forma de autorización de acceso». Una regla pide a un rastreador que no entre. Que una petición reciba la página lo deciden tu servidor, tu CDN y tu cortafuegos.
Proofsource audita la web de cada marca que sigue. Tomamos la auditoría más reciente de cada web entre el 5 de octubre y el 20 de noviembre de 2026: 199 webs, sin nuestros dominios ni los de prueba. Cada auditoría lee el robots.txt para cada rastreador de IA y después pide la página de inicio una vez por rastreador, con el User-Agent publicado de ese rastreador. Anota si el servidor sirvió la página o respondió 401, 403, 429 o un desafío antibots.
Los servidores rechazaron GPTBot en 32 webs; el robots.txt lo bloqueaba en 12
El servidor rechazó una petición que se identificaba como GPTBot en 32 de las 199 webs: el 16,1 % (del 11,6 % al 21,8 %). El robots.txt prohibía GPTBot en 12 (el 6,0 %).
En 21 de esas 32 webs, el robots.txt permitía todos los rastreadores de IA que comprobamos. Revisar solo el archivo les habría dicho a las 21 que estaban abiertas a la IA.
Una vez ocurrió al revés. Una web prohibía GPTBot en el robots.txt y su servidor entregó la página igualmente. El archivo es una petición en los dos sentidos.
La mayoría de los bloqueos del servidor tocaron a los rastreadores de entrenamiento y respetaron a los de búsqueda
En 20 webs el servidor rechazó GPTBot pero sirvió a OAI-SearchBot y ChatGPT-User, y 15 de ellas rechazaron también ClaudeBot. Ese reparto parece elegido. La documentación de OpenAI sobre sus rastreadores los trata como ajustes independientes: GPTBot recoge datos de entrenamiento y OAI-SearchBot busca páginas que mostrar en la búsqueda de ChatGPT. Rechazar el primero no te saca del segundo.
13 webs rechazaron los rastreadores que llevan páginas a las respuestas
Para que te citen, los rastreadores que cuentan son los agentes de búsqueda y de usuario. 13 webs (el 6,5 %) rechazaron al menos uno de OAI-SearchBot, ChatGPT-User o PerplexityBot. El robots.txt los prohibía solo en una de esas 13.
10 webs rechazaron todos los rastreadores de IA que enviamos. 7 de esas 10 respondieron con un desafío antibots de Cloudflare en lugar de una página de error normal. OpenAI dice que una web que excluye OAI-SearchBot no aparecerá en las respuestas de búsqueda de ChatGPT, y pide a las webs que quieran aparecer que permitan sus rangos de IP publicados, además de su nombre en el robots.txt.
Probablemente nadie escribió a mano algunos de estos bloqueos
Cloudflare añadió en septiembre de 2024 una opción de un clic para bloquear rastreadores de IA y dice que más de un millón de clientes la activaron. Desde el 1 de julio de 2025 pregunta a cada dominio nuevo, al darse de alta, si quiere permitir rastreadores de IA. Un ajuste elegido una vez en un panel, o por quien configuró la cuenta, no aparece en el robots.txt. Si un rastreador está rechazado y nadie de tu equipo recuerda haberlo decidido, mira ahí primero.
Comprueba las dos cosas en diez minutos
- Lee primero el robots.txt para los rastreadores de respuestas: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Después decide por separado sobre los rastreadores de entrenamiento, GPTBot y ClaudeBot.
- Pide tu página de inicio con curl, con el nombre de cada rastreador como User-Agent. Un 403, un 429 o una página de desafío significa que el servidor lo rechazó, diga lo que diga el robots.txt.
- Abre los ajustes de bots y de rastreadores de IA de tu CDN y mira cómo está configurado cada rastreador. En Cloudflare, revisa tanto los controles de rastreadores de IA como cualquier regla que bloquee bots de IA.
- Si tu cortafuegos solo deja pasar bots verificados, comprueba que los rangos de IP publicados por las empresas de IA estén en su lista de permitidos y luego busca respuestas 403 a esos rastreadores en tus registros.
Cómo lo comprueba Proofsource
Cada auditoría de web de Proofsource lee el robots.txt para cada rastreador de IA y pide tu página de inicio como cada uno de ellos. Cuando el robots.txt permite un rastreador y el servidor lo rechaza, el primer análisis lo indica en una línea propia, con el ajuste que hay que cambiar.
Dónde podríamos equivocarnos
Nuestras peticiones salieron de nuestros servidores, no de los de OpenAI, Anthropic o Perplexity. Un cortafuegos que comprueba de dónde viene una petición puede rechazar la nuestra y aun así servir al rastreador real. Eso afecta sobre todo a los desafíos antibots. Toma un rechazo como motivo para abrir los ajustes de tu CDN, no como prueba de que ChatGPT no puede leerte.
Una petición por rastreador, solo a la página de inicio, en un único momento. 5 de los rechazos fueron límites de frecuencia 429, que pueden ser pasajeros. Otras páginas pueden tener otras reglas.
199 webs de marcas seguidas en Proofsource, que no son una muestra aleatoria de la web. Las auditorías más antiguas enviaron cinco rastreadores y las más recientes ocho, así que los recuentos de Claude-SearchBot, Claude-User y Perplexity-User cubren 189 webs. No vimos los registros de las webs, así que no podemos decir cómo se respondió a las visitas de rastreadores reales.