¿Qué es ClaudeBot?
ClaudeBot es el rastreador web de Anthropic que recopila contenido de la web que puede contribuir al entrenamiento de los modelos Claude de Anthropic. Anthropic tiene tres bots con tareas distintas: ClaudeBot para el entrenamiento, Claude-SearchBot para indexar la búsqueda y Claude-User para descargar una página cuando alguien le hace una pregunta a Claude. Cada uno se nombra por separado en robots.txt, así que una regla para ClaudeBot no dice nada de los otros dos.
¿Cuál es el user agent de ClaudeBot?
ClaudeBot se identifica con el token de producto ClaudeBot, y ese es el token que debe nombrar un grupo de robots.txt. El artículo de ayuda de Anthropic nombra sus tres bots (ClaudeBot, Claude-User y Claude-SearchBot), pero no publica una cadena de user agent completa, así que en tus registros busca el token y no una cadena copiada (artículo de Anthropic sobre su rastreador, consultado el 15 oct 2026).
Un nombre en una línea de registro se puede falsificar. Para confirmar que una petición viene de verdad de Anthropic, comprueba su IP de origen con la lista que Anthropic publica en claude.com/crawling/bots.json; Anthropic dice que un rastreador con una IP de origen de esa lista viene de Anthropic.
Algunos archivos robots.txt todavía nombran anthropic-ai o Claude-Web, tokens antiguos. El artículo actual de Anthropic no menciona ninguno de los dos, así que no está documentado que una regla que solo nombre esos tokens antiguos cubra a ClaudeBot.
¿Qué recoge ClaudeBot, y para qué?
ClaudeBot recoge contenido web público que podría contribuir a entrenar los modelos de IA generativa de Anthropic, lo que según Anthropic mejora la utilidad y la seguridad de los modelos. Bloquearlo indica que el contenido futuro de tu web debe quedar fuera de los datos de entrenamiento de Anthropic.
Anthropic también explica cómo se comportan sus bots:
- Respetan las directivas "no rastrear" de robots.txt.
- No intentan saltarse los CAPTCHA ni otras medidas contra la elusión.
- Admiten la regla no estándar Crawl-delay, así que puedes ralentizar a ClaudeBot sin bloquearlo.
- Una regla se aplica a un solo host, así que una web con subdominios necesita la regla en el robots.txt de cada subdominio.
¿En qué se diferencia ClaudeBot de Claude-User y Claude-SearchBot?
ClaudeBot tiene que ver con el entrenamiento; Claude-SearchBot y Claude-User tienen que ver con que te encuentren y te lean cuando la gente le pregunta algo a Claude. Anthropic avisa de que desactivar cualquiera de los dos últimos puede reducir la visibilidad de tu web en las respuestas de búsqueda de Claude.
| Bot | Tarea | Si lo bloqueas |
|---|---|---|
| ClaudeBot | Recoge contenido web que podría contribuir al entrenamiento de modelos | Indica que tu contenido futuro debe quedar fuera del entrenamiento |
| Claude-SearchBot | Lee la web para mejorar la calidad y la relevancia de los resultados de búsqueda de Claude | Deja de indexar para la búsqueda, lo que puede reducir tu visibilidad y tu precisión en las respuestas de búsqueda de Claude |
| Claude-User | Descarga una página cuando una persona le hace a Claude una pregunta que la necesita | Claude no puede descargar tus páginas para esas preguntas, lo que puede reducir tu visibilidad en la búsqueda iniciada por usuarios |
¿Cómo se bloquea o se permite ClaudeBot en robots.txt?
Añade un grupo que nombre a ClaudeBot en el archivo robots.txt de la raíz de cada host. El propio ejemplo de Anthropic bloquea ClaudeBot en toda la web con una sola línea Disallow: / bajo User-agent: ClaudeBot.
La elección habitual es dejar el contenido fuera del entrenamiento sin dejar de ser encontrable en las respuestas de Claude: bloquear ClaudeBot y permitir los otros dos. Crawl-delay es la forma documentada por Anthropic de ralentizar a ClaudeBot en lugar de bloquearlo. No confíes en bloquear las direcciones IP de Anthropic; Anthropic dice que puede no funcionar de forma fiable, porque impide que sus bots lean tu robots.txt. Después comprueba el archivo publicado con el comprobador gratuito de rastreadores de IA.
# Deja el contenido fuera del entrenamiento de Anthropic
User-agent: ClaudeBot
Disallow: /
# Sigue siendo encontrable en las respuestas de Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# O, en lugar de bloquear ClaudeBot, ralentízalo:
# User-agent: ClaudeBot
# Crawl-delay: 1¿Qué significa esto para que Claude te cite?
Que Claude te cite depende de que Claude-SearchBot y Claude-User lleguen a tus páginas; ClaudeBot es una decisión aparte sobre el entrenamiento. Bloquear los tres renuncia a ambas cosas.
Las citas de Claude están muy repartidas incluso para una marca famosa. En el ejemplo público de Tesla (4 oct 2026), Claude mencionó a Tesla en 11 de 25 respuestas a preguntas de compra y dio 351 citas en esas respuestas, solo una de ellas a tesla.com. Su sitio más citado fue en.wikipedia.org, 16 veces. Ese es el espacio de citas por el que una regla para el rastreador de búsqueda decide si puedes competir, y se mide haciendo las preguntas, no leyendo el robots.txt. Mira cómo elige Claude las marcas que menciona.
Preguntas frecuentes sobre ClaudeBot
¿Bloquear ClaudeBot saca mi web de Claude?
Según la descripción de Anthropic, no. ClaudeBot es el rastreador de entrenamiento. La indexación para la búsqueda es Claude-SearchBot y las descargas de páginas para la pregunta de un usuario son Claude-User, y Anthropic dice que bloquear esos dos es lo que puede reducir tu visibilidad en las respuestas de búsqueda de Claude.
¿ClaudeBot respeta robots.txt?
Anthropic dice que sus bots respetan las directivas de robots.txt, no se saltan los CAPTCHA y admiten Crawl-delay. Pon la regla en el robots.txt de cada subdominio que quieras cubrir.
¿Debería bloquear ClaudeBot por dirección IP?
Anthropic desaconseja confiar en ello: bloquear sus direcciones IP puede no funcionar bien ni de forma duradera, e impide que los bots lean tu robots.txt. Usa robots.txt para la regla, y la lista de IP publicada por Anthropic solo para confirmar que una petición es auténtica.
¿ClaudeBot es lo mismo que anthropic-ai?
No. anthropic-ai y Claude-Web son tokens antiguos que algunos archivos robots.txt todavía incluyen, y el artículo actual de Anthropic no los menciona. Solo nombra ClaudeBot, Claude-SearchBot y Claude-User, así que escribe tus reglas para esos tres.
Términos relacionados
- GPTBot
GPTBot es el rastreador web de OpenAI que recopila contenido que puede usarse para entrenar los modelos fundacionales de IA generativa de OpenAI.
- OAI-SearchBot
OAI-SearchBot es el rastreador de OpenAI para mostrar webs en las funciones de búsqueda de ChatGPT, y las webs que lo excluyen no aparecen en las respuestas de búsqueda de ChatGPT.
- PerplexityBot
PerplexityBot es el rastreador de Perplexity que indexa páginas web para que puedan mostrarse y enlazarse en los resultados de búsqueda de Perplexity.
Ejemplo práctico: Tesla, respuestas públicas de IA, 4 de oct. de 2026: el primer análisis de Tesla hecho por Proofsource, con 25 preguntas de compra y 5 preguntas de marca, una respuesta por pregunta en cada uno de cuatro motores. Una muestra pequeña de una sola marca, presentada como ejemplo, no como comparativa.
Ve dónde te deja fuera la IA y qué corregir.
Ve qué preguntas de compra mencionan tu marca, a quién mencionan en tu lugar y qué corregir. 200 respuestas. 25 Prompts/pregunta. Los principales motores de IA. 2 días. Gratis. Sin tarjeta.
Google AI OverviewsGoogle AI Mode
