¿Qué es ClaudeBot?
ClaudeBot es el rastreador web de Anthropic que recopila contenido de la web que puede contribuir al entrenamiento de los modelos Claude de Anthropic. Anthropic opera tres bots con tareas distintas: ClaudeBot para el entrenamiento, Claude-SearchBot para la indexación de búsqueda y Claude-User para obtener una página cuando alguien le hace una pregunta a Claude. Cada uno se nombra por separado en robots.txt, así que una regla para ClaudeBot no dice nada sobre los otros dos.
¿Cuál es el user agent de ClaudeBot?
ClaudeBot se identifica con el token de producto ClaudeBot, y ese token es el que debe nombrar un grupo de robots.txt. El artículo de ayuda de Anthropic nombra sus tres bots (ClaudeBot, Claude-User y Claude-SearchBot), pero no publica una cadena de user agent completa, así que en tus logs busca el token y no una cadena copiada (artículo de Anthropic sobre su rastreador, consultado el 15 de oct. de 2026).
Un nombre en una línea de log se puede falsificar. Para confirmar que una solicitud viene realmente de Anthropic, compara su IP de origen con la lista que Anthropic publica en claude.com/crawling/bots.json; Anthropic dice que un rastreador con una IP de origen de esa lista viene de Anthropic.
Algunos archivos robots.txt todavía nombran anthropic-ai o Claude-Web, tokens antiguos. El artículo actual de Anthropic no menciona ninguno de los dos, así que no está documentado que una regla que solo nombra esos tokens antiguos cubra a ClaudeBot.
¿Qué recopila ClaudeBot y para qué?
ClaudeBot recopila contenido web público que podría contribuir al entrenamiento de los modelos de IA generativa de Anthropic, lo que según Anthropic mejora la utilidad y la seguridad de los modelos. Bloquearlo indica que el contenido futuro de tu sitio debe quedar fuera de los conjuntos de datos de entrenamiento de Anthropic.
Anthropic también explica cómo se comportan sus bots:
- Respetan las directivas "no rastrear" de robots.txt.
- No intentan saltarse CAPTCHAs ni otras medidas contra la evasión.
- Admiten la regla no estándar Crawl-delay, así que puedes hacer que ClaudeBot vaya más lento sin bloquearlo.
- Una regla se aplica a un solo host, así que un sitio con subdominios necesita la regla en el robots.txt de cada subdominio.
¿En qué se diferencia ClaudeBot de Claude-User y Claude-SearchBot?
ClaudeBot tiene que ver con el entrenamiento; Claude-SearchBot y Claude-User tienen que ver con que te encuentren y te lean cuando alguien le pregunta algo a Claude. Anthropic advierte que desactivar cualquiera de estos dos últimos puede reducir la visibilidad de tu sitio en las respuestas de búsqueda de Claude.
| Bot | Tarea | Si lo bloqueas |
|---|---|---|
| ClaudeBot | Recopila contenido web que podría contribuir al entrenamiento de modelos | Indica que tu contenido futuro debe quedar fuera del entrenamiento |
| Claude-SearchBot | Lee la web para mejorar la calidad y la relevancia de los resultados de búsqueda de Claude | Deja de indexarte para la búsqueda, lo que puede reducir tu visibilidad y la precisión en las respuestas de búsqueda de Claude |
| Claude-User | Obtiene una página cuando una persona le hace a Claude una pregunta que la necesita | Claude no puede obtener tus páginas para esas preguntas, lo que puede reducir tu visibilidad en la búsqueda dirigida por usuarios |
¿Cómo bloqueas o permites ClaudeBot en robots.txt?
Agrega un grupo que nombre a ClaudeBot en el archivo robots.txt de la raíz de cada host. El propio ejemplo de Anthropic bloquea ClaudeBot en todo el sitio con una sola línea Disallow: / bajo User-agent: ClaudeBot.
La opción más común es dejar el contenido fuera del entrenamiento sin dejar de aparecer en las respuestas de Claude: bloquear ClaudeBot y permitir los otros dos. Crawl-delay es la forma documentada por Anthropic para hacer más lento a ClaudeBot en lugar de bloquearlo. No dependas de bloquear las direcciones IP de Anthropic; Anthropic dice que puede no funcionar de forma confiable, porque impide que sus bots lean tu robots.txt. Después confirma el archivo publicado con el verificador de rastreadores de IA gratuito.
# Dejar el contenido fuera del entrenamiento de Anthropic
User-agent: ClaudeBot
Disallow: /
# Seguir apareciendo en las respuestas de Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# O, en lugar de bloquear ClaudeBot, hacerlo más lento:
# User-agent: ClaudeBot
# Crawl-delay: 1¿Qué significa esto para que Claude te cite?
Que Claude te cite depende de que Claude-SearchBot y Claude-User lleguen a tus páginas; ClaudeBot es una decisión aparte, sobre el entrenamiento. Bloquear los tres renuncia a ambas cosas.
Las citas de Claude se reparten mucho, incluso para una marca famosa. En el ejemplo público de Tesla (4 de oct. de 2026), Claude mencionó a Tesla en 11 de 25 respuestas a preguntas de compra y dio 351 citas en esas respuestas, solo una de ellas a tesla.com. Su sitio más citado fue en.wikipedia.org, 16 veces. Ese es el espacio de citas por el que una regla para el rastreador de búsqueda decide si puedes competir, y se mide haciendo las preguntas, no leyendo robots.txt. Mira cómo Claude elige las marcas que menciona.
Preguntas frecuentes sobre ClaudeBot
¿Bloquear ClaudeBot saca a mi sitio de Claude?
No, según la descripción de Anthropic. ClaudeBot es el rastreador de entrenamiento. La indexación de búsqueda es Claude-SearchBot y la obtención de páginas para la pregunta de un usuario es Claude-User, y Anthropic dice que bloquear esos dos es lo que puede reducir tu visibilidad en las respuestas de búsqueda de Claude.
¿ClaudeBot respeta robots.txt?
Anthropic dice que sus bots respetan las directivas de robots.txt, no evaden CAPTCHAs y admiten Crawl-delay. Pon la regla en el robots.txt de cada subdominio que quieras cubrir.
¿Debo bloquear ClaudeBot por dirección IP?
Anthropic recomienda no depender de eso: bloquear sus direcciones IP puede no funcionar bien ni de forma permanente, y evita que los bots lean tu robots.txt. Usa robots.txt para la regla, y la lista de IP publicada por Anthropic solo para confirmar que una solicitud es auténtica.
¿ClaudeBot es lo mismo que anthropic-ai?
No. anthropic-ai y Claude-Web son tokens antiguos que algunos archivos robots.txt todavía incluyen, y el artículo actual de Anthropic no los menciona. Solo nombra ClaudeBot, Claude-SearchBot y Claude-User, así que escribe tus reglas para esos tres.
Términos relacionados
- GPTBot
GPTBot es el rastreador web de OpenAI que recopila contenido que puede usarse para entrenar los modelos fundacionales de IA generativa de OpenAI.
- OAI-SearchBot
OAI-SearchBot es el rastreador de OpenAI para mostrar sitios web en las funciones de búsqueda de ChatGPT, y los sitios que lo excluyen no aparecen en las respuestas de búsqueda de ChatGPT.
- PerplexityBot
PerplexityBot es el rastreador de Perplexity que indexa páginas web para que puedan mostrarse y enlazarse en los resultados de búsqueda de Perplexity.
Ejemplo práctico: Tesla, respuestas públicas de IA, 4 de oct. de 2026: el primer escaneo de Tesla hecho por Proofsource, con 25 preguntas de compra y 5 preguntas de marca, una respuesta por pregunta en cada uno de cuatro motores. Una muestra pequeña de una sola marca, mostrada como ejemplo, no como benchmark.
Ve dónde te deja fuera la IA, y qué corregir.
Ve qué preguntas de compra mencionan tu marca, a quién mencionan en tu lugar y qué corregir. 200 respuestas. 25 Prompts/pregunta. Los principales motores de IA. 2 días. Gratis. Sin tarjeta.
Google AI OverviewsGoogle AI Mode
