Revisamos 199 sitios en el robots.txt y en el servidor
¿Cómo reviso qué rastreadores de IA bloquea mi sitio? La mayoría de los verificadores, incluido el nuestro gratuito, leen el robots.txt y ahí terminan. El estándar del archivo, el RFC 9309, es directo sobre sus límites: "Estas reglas no son una forma de autorización de acceso". Una regla le pide a un rastreador que no entre. Si una solicitud recibe la página lo deciden tu servidor, tu CDN y tu firewall.
Proofsource audita el sitio de cada marca que monitorea. Tomamos la auditoría más reciente de cada sitio entre el 5 de octubre y el 20 de noviembre de 2026: 199 sitios, sin nuestros dominios ni los de prueba. Cada auditoría lee el robots.txt para cada rastreador de IA y luego pide la página de inicio una vez por rastreador, con el User-Agent publicado de ese rastreador. Registra si el servidor entregó la página o respondió 401, 403, 429 o un desafío anti bots.
Los servidores rechazaron a GPTBot en 32 sitios; el robots.txt lo bloqueó en 12
El servidor rechazó una solicitud que se identificaba como GPTBot en 32 de los 199 sitios: 16.1% (11.6% a 21.8%). El robots.txt prohibía a GPTBot en 12 (6.0%).
En 21 de esos 32 sitios, el robots.txt permitía a todos los rastreadores de IA que revisamos. Revisar solo el archivo les habría dicho a los 21 que estaban abiertos a la IA.
Una vez pasó al revés. Un sitio prohibía a GPTBot en el robots.txt y su servidor entregó la página de todos modos. El archivo es una petición en los dos sentidos.
La mayoría de los bloqueos del servidor afectaron a los rastreadores de entrenamiento y dejaron pasar a los de búsqueda
En 20 sitios el servidor rechazó a GPTBot pero atendió a OAI-SearchBot y ChatGPT-User, y 15 de ellos también rechazaron a ClaudeBot. Esa división parece elegida. La documentación de OpenAI sobre sus rastreadores los trata como ajustes separados: GPTBot reúne datos de entrenamiento y OAI-SearchBot encuentra páginas para mostrar en la búsqueda de ChatGPT. Rechazar al primero no te saca del segundo.
13 sitios rechazaron a los rastreadores que llevan páginas a las respuestas
Para que te citen, los rastreadores que cuentan son los agentes de búsqueda y de usuario. 13 sitios (6.5%) rechazaron al menos a uno de OAI-SearchBot, ChatGPT-User o PerplexityBot. El robots.txt los prohibía solo en uno de esos 13.
10 sitios rechazaron a todos los rastreadores de IA que enviamos. 7 de esos 10 respondieron con un desafío anti bots de Cloudflare en vez de una página de error simple. OpenAI dice que un sitio que excluye a OAI-SearchBot no aparecerá en las respuestas de búsqueda de ChatGPT, y pide a los sitios que quieran aparecer que permitan sus rangos de IP publicados, además de su nombre en el robots.txt.
Es probable que algunos de estos bloqueos nunca los escribiera nadie a mano
Cloudflare agregó en septiembre de 2024 una opción de un clic para bloquear rastreadores de IA y dice que más de un millón de clientes la activaron. Desde el 1 de julio de 2025 pregunta a cada dominio nuevo, al registrarse, si quiere permitir rastreadores de IA. Un ajuste elegido una vez en un panel, o por quien configuró la cuenta, no aparece en el robots.txt. Si un rastreador está rechazado y nadie en tu equipo recuerda haberlo decidido, empieza a buscar ahí.
Revisa las dos cosas en diez minutos
- Lee primero el robots.txt para los rastreadores de respuestas: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Después decide por separado sobre los rastreadores de entrenamiento, GPTBot y ClaudeBot.
- Pide tu página de inicio con curl, poniendo como User-Agent el nombre de cada rastreador. Un 403, un 429 o una página de desafío significa que el servidor lo rechazó, diga lo que diga el robots.txt.
- Abre los ajustes de bots y de rastreadores de IA de tu CDN y lee cómo está configurado cada rastreador. En Cloudflare, revisa tanto los controles de rastreadores de IA como cualquier regla que bloquee bots de IA.
- Si tu firewall solo deja pasar bots verificados, asegúrate de que los rangos de IP publicados por las empresas de IA estén en su lista de permitidos, y luego busca respuestas 403 a esos rastreadores en tus registros.
Cómo lo revisa Proofsource
Cada auditoría de sitio de Proofsource lee el robots.txt para cada rastreador de IA y pide tu página de inicio como cada uno de ellos. Cuando el robots.txt permite a un rastreador y el servidor lo rechaza, el primer escaneo lo indica en una línea propia, con el ajuste que hay que cambiar.
Dónde podríamos estar equivocados
Nuestras solicitudes salieron de nuestros servidores, no de los de OpenAI, Anthropic o Perplexity. Un firewall que revisa de dónde viene una solicitud puede rechazar la nuestra y aun así atender al rastreador real. Eso aplica sobre todo a los desafíos anti bots. Toma un rechazo como motivo para abrir los ajustes de tu CDN, no como prueba de que ChatGPT no puede leerte.
Una solicitud por rastreador, solo a la página de inicio, en un único momento. 5 de los rechazos fueron límites de frecuencia 429, que pueden ser pasajeros. Otras páginas pueden tener otras reglas.
199 sitios de marcas monitoreadas en Proofsource, que no son una muestra aleatoria de la web. Las auditorías más antiguas enviaron cinco rastreadores y las más recientes ocho, así que los conteos de Claude-SearchBot, Claude-User y Perplexity-User cubren 189 sitios. No vimos los registros de los sitios, así que no podemos decir cómo se respondieron las visitas de rastreadores reales.