¿Qué es CCBot?
CCBot es el rastreador web de Common Crawl, una organización sin ánimo de lucro que publica una copia libre y abierta de la web que investigadores y desarrolladores de IA usan como datos de entrenamiento. CCBot no es el rastreador de una empresa de IA, pero su archivo alimenta a muchos modelos de IA. Common Crawl publica gratis su copia de la web, así que bloquear CCBot es una decisión sobre conjuntos de datos abiertos con los que entrenan investigadores y desarrolladores de IA.
¿Qué es Common Crawl y qué hace CCBot?
Common Crawl se describe como una organización sin ánimo de lucro 501(c)(3) dedicada a ofrecer gratis una copia de internet a investigadores, empresas y particulares; CCBot es el rastreador que la recopila (FAQ de Common Crawl, consultada el 15 de oct. de 2026).
Sus datos llegan a los modelos de IA a través de los desarrolladores que los usan. El artículo de GPT-3 de OpenAI, por ejemplo, indica una versión filtrada de Common Crawl como la mayor parte de los datos de entrenamiento de ese modelo (Language Models are Few-Shot Learners, 28 de mayo de 2020).
¿Cómo se comporta CCBot?
Common Crawl documenta las reglas de su rastreador:
- Consulta robots.txt y solo descarga una página si está permitido rastrearla.
- Respeta Crawl-delay; Crawl-delay: 2 lo limita a una petición cada 2 segundos.
- Respeta nofollow en los enlaces a la hora de descubrir otros nuevos.
- Vuelve a consultar robots.txt periódicamente, así que un bloqueo nuevo surte efecto en las visitas siguientes.
- Funciona desde rangos de IP dedicados con DNS inverso, publicados en JSON para poder verificarlos.
¿Cómo bloqueas o verificas CCBot?
Añade un grupo para CCBot en robots.txt. Su cadena de user-agent es CCBot/2.0 (https://commoncrawl.org/faq/), y Common Crawl indica un nombre de host de DNS inverso bajo crawl.commoncrawl.org para verificar una petición (CCBot).
# Mantén el contenido fuera del archivo abierto de Common Crawl
User-agent: CCBot
Disallow: /¿Qué cambia bloquear CCBot, en un ejemplo real?
Cambia los futuros conjuntos de datos abiertos, no las respuestas de hoy. En el ejemplo público de Tesla (4 de oct. de 2026), Claude respondió «¿Qué es Tesla?» y «¿Tesla es de fiar?» con lo que el modelo ya sabía, sin citar fuentes: esa memoria venía de datos de entrenamiento recopilados mucho antes.
En las preguntas de compra, los mismos motores citaron 455 webs distintas, leídas en el momento de responder por sus propios rastreadores de búsqueda y fetchers. Una regla para CCBot no toca ninguna de esas dos vías en directo; los agentes de búsqueda y de usuario sí.
¿Cómo compruebas tu regla para CCBot?
Revisa el robots.txt publicado en cada host en busca de un grupo para CCBot, y decídelo junto con los rastreadores de entrenamiento de IA. El comprobador gratuito de rastreadores de IA lee tu robots.txt publicado, y Acceso de rastreadores en Proofsource lo sigue a lo largo del tiempo.
Preguntas frecuentes sobre CCBot
¿Bloquear CCBot saca mis páginas de las respuestas de IA?
No. Las respuestas de IA que buscan en la web usan los propios rastreadores y fetchers de los motores. CCBot solo afecta al futuro archivo de Common Crawl.
¿Bloquear CCBot elimina mi contenido de los conjuntos de datos existentes?
La documentación de Common Crawl describe cómo CCBot deja de rastrear un sitio bloqueado. No dice que se modifiquen los archivos anteriores, así que da por hecho que lo ya recopilado se queda.
¿CCBot es el rastreador de una empresa de IA?
No. Common Crawl es una organización sin ánimo de lucro que publica su archivo para cualquiera. Los desarrolladores de IA son algunos de los muchos usuarios de esos datos.
¿CCBot respeta Crawl-delay?
Sí. Common Crawl dice que respeta el parámetro Crawl-delay de robots.txt.
Términos relacionados
- GPTBot
GPTBot es el rastreador web de OpenAI que recopila contenido que puede usarse para entrenar los modelos fundacionales de IA generativa de OpenAI.
- ClaudeBot
ClaudeBot es el rastreador web de Anthropic que recopila contenido de la web que puede contribuir al entrenamiento de los modelos Claude de Anthropic.
- Applebot-Extended
Applebot-Extended es un token de robots.txt que permite a una web excluirse de que Apple use su contenido para entrenar los modelos fundacionales de Apple, y no rastrea nada por sí mismo.
- robots.txt
robots.txt es un archivo de texto plano en la raíz de una web que indica a los rastreadores qué rutas pueden consultar, según el Robots Exclusion Protocol (RFC 9309).
Ejemplo práctico: Tesla, respuestas públicas de IA, 4 de oct. de 2026: el primer análisis de Tesla hecho por Proofsource, con 25 preguntas de compra y 5 preguntas de marca, una respuesta por pregunta en cada uno de cuatro motores. Una muestra pequeña de una sola marca, presentada como ejemplo, no como comparativa.
Ve dónde te deja fuera la IA y qué corregir.
Ve qué preguntas de compra mencionan tu marca, a quién mencionan en tu lugar y qué corregir. 200 respuestas. 25 Prompts/pregunta. Los principales motores de IA. 2 días. Gratis. Sin tarjeta.
Google AI OverviewsGoogle AI Mode
