¿Qué es CCBot?
CCBot es el rastreador web de Common Crawl, una organización sin fines de lucro que publica una copia libre y abierta de la web que investigadores y desarrolladores de IA usan como datos de entrenamiento. CCBot no es el rastreador de una empresa de IA, pero su archivo alimenta a muchos modelos de IA. Common Crawl publica gratis su copia de la web, así que bloquear CCBot es una decisión sobre los conjuntos de datos abiertos con los que entrenan investigadores y desarrolladores de IA.
¿Qué es Common Crawl y qué hace CCBot?
Common Crawl se describe como una organización sin fines de lucro 501(c)(3) dedicada a ofrecer una copia de internet a investigadores, empresas y personas sin costo; CCBot es el rastreador que la recopila (FAQ de Common Crawl, consultado el 15 de oct. de 2026).
Sus datos llegan a los modelos de IA a través de los desarrolladores que los usan. El artículo de GPT-3 de OpenAI, por ejemplo, lista una versión filtrada de Common Crawl como la mayor parte de la mezcla de entrenamiento de ese modelo (Language Models are Few-Shot Learners, 28 de mayo de 2020).
¿Cómo se comporta CCBot?
Common Crawl documenta las reglas de su rastreador:
- Revisa robots.txt y solo trae una página si está permitido rastrearla.
- Obedece Crawl-delay; Crawl-delay: 2 lo limita a una solicitud cada 2 segundos.
- Respeta el nofollow de los enlaces para descubrir enlaces.
- Vuelve a revisar robots.txt periódicamente, así que un bloqueo nuevo se aplica en las visitas siguientes.
- Funciona en rangos de IP dedicados con DNS inverso, publicados en JSON para verificarlos.
¿Cómo bloqueas o verificas CCBot?
Agrega un grupo para CCBot en robots.txt. Su cadena de user agent es CCBot/2.0 (https://commoncrawl.org/faq/), y Common Crawl da un hostname de DNS inverso bajo crawl.commoncrawl.org para verificar una solicitud (CCBot).
# Deja el contenido fuera del archivo abierto de Common Crawl
User-agent: CCBot
Disallow: /¿Qué cambia al bloquear CCBot, en un ejemplo real?
Cambia los conjuntos de datos abiertos futuros, no las respuestas de hoy. En el ejemplo público de Tesla (4 de oct. de 2026), Claude respondió "¿Qué es Tesla?" y "¿Tesla es confiable?" con lo que el modelo ya sabía, sin citar fuentes: esa memoria vino de datos de entrenamiento recopilados mucho antes.
En las preguntas de compra, los mismos motores citaron 455 sitios web distintos, leídos en el momento de responder por sus propios rastreadores de búsqueda y fetchers. Una regla para CCBot no toca ninguna de esas dos vías en vivo; los agentes de búsqueda y de usuario sí.
¿Cómo revisas tu regla para CCBot?
Lee el robots.txt publicado en cada host en busca de un grupo para CCBot, y decide sobre él junto con los rastreadores de entrenamiento de IA. El verificador gratuito de rastreadores de IA lee tu robots.txt publicado, y Acceso de rastreadores en Proofsource lo monitorea a lo largo del tiempo.
Preguntas frecuentes sobre CCBot
¿Bloquear CCBot saca mis páginas de las respuestas de IA?
No. Las respuestas de IA que buscan usan los propios rastreadores y fetchers de los motores. CCBot solo afecta el archivo futuro de Common Crawl.
¿Bloquear CCBot quita mi contenido de los conjuntos de datos existentes?
La documentación de Common Crawl describe cómo CCBot deja de rastrear un sitio bloqueado. No dice que se modifiquen los archivos anteriores, así que asume que lo que ya se recopiló se queda.
¿CCBot es el rastreador de una empresa de IA?
No. Common Crawl es una organización sin fines de lucro que publica su archivo para cualquiera. Los desarrolladores de IA están entre los muchos usuarios de esos datos.
¿CCBot respeta Crawl-delay?
Sí. Common Crawl dice que obedece el parámetro Crawl-delay de robots.txt.
Términos relacionados
- GPTBot
GPTBot es el rastreador web de OpenAI que recopila contenido que puede usarse para entrenar los modelos fundacionales de IA generativa de OpenAI.
- ClaudeBot
ClaudeBot es el rastreador web de Anthropic que recopila contenido de la web que puede contribuir al entrenamiento de los modelos Claude de Anthropic.
- Applebot-Extended
Applebot-Extended es un token de robots.txt que le permite a un sitio excluirse de que Apple use su contenido para entrenar los modelos fundacionales de Apple, y no rastrea nada por sí mismo.
- robots.txt
robots.txt es un archivo de texto plano en la raíz de un sitio web que les dice a los rastreadores qué rutas pueden consultar, según el Robots Exclusion Protocol (RFC 9309).
Ejemplo práctico: Tesla, respuestas públicas de IA, 4 de oct. de 2026: el primer escaneo de Tesla hecho por Proofsource, con 25 preguntas de compra y 5 preguntas de marca, una respuesta por pregunta en cada uno de cuatro motores. Una muestra pequeña de una sola marca, mostrada como ejemplo, no como benchmark.
Ve dónde te deja fuera la IA, y qué corregir.
Ve qué preguntas de compra mencionan tu marca, a quién mencionan en tu lugar y qué corregir. 200 respuestas. 25 Prompts/pregunta. Los principales motores de IA. 2 días. Gratis. Sin tarjeta.
Google AI OverviewsGoogle AI Mode
