Czym jest ClaudeBot?
ClaudeBot to crawler Anthropic, który zbiera treści z sieci mogące posłużyć do trenowania modeli Claude firmy Anthropic. Anthropic używa trzech botów o różnych zadaniach: ClaudeBot do treningu, Claude-SearchBot do indeksowania na potrzeby wyszukiwania i Claude-User do pobierania strony, gdy ktoś zadaje pytanie Claude. Każdy z nich nazywa się osobno w robots.txt, więc reguła dla ClaudeBot nic nie mówi o dwóch pozostałych.
Jaki jest user agent ClaudeBot?
ClaudeBot przedstawia się tokenem produktu ClaudeBot i to ten token musi wskazać grupa w robots.txt. Artykuł pomocy Anthropic wymienia trzy boty (ClaudeBot, Claude-User i Claude-SearchBot), ale nie podaje pełnego ciągu user agenta, więc w logach dopasowuj token, a nie skopiowany ciąg (artykuł Anthropic o crawlerze, stan na 15 października 2026).
Nazwę w wierszu logu można podrobić. Aby potwierdzić, że żądanie naprawdę pochodzi od Anthropic, sprawdź jego źródłowy adres IP z listą publikowaną przez Anthropic pod adresem claude.com/crawling/bots.json; Anthropic podaje, że crawler ze źródłowym IP z tej listy pochodzi od Anthropic.
Niektóre pliki robots.txt nadal wymieniają anthropic-ai lub Claude-Web, starsze tokeny. Obecny artykuł Anthropic nie wspomina żadnego z nich, więc nie ma dokumentacji, że reguła wskazująca tylko te starsze tokeny obejmuje ClaudeBot.
Co zbiera ClaudeBot i po co?
ClaudeBot zbiera publiczne treści z sieci, które mogą posłużyć do trenowania generatywnych modeli AI firmy Anthropic, co według Anthropic poprawia ich użyteczność i bezpieczeństwo. Zablokowanie go sygnalizuje, że przyszłe treści twojej witryny mają zostać wyłączone z danych treningowych Anthropic.
Anthropic opisuje też, jak zachowują się jego boty:
- Respektują dyrektywy „nie indeksuj” w robots.txt.
- Nie próbują obchodzić CAPTCHA ani innych zabezpieczeń.
- Obsługują niestandardową regułę Crawl-delay, więc możesz spowolnić ClaudeBot bez blokowania go.
- Reguła dotyczy jednego hosta, więc witryna z subdomenami potrzebuje reguły w robots.txt każdej subdomeny.
Czym ClaudeBot różni się od Claude-User i Claude-SearchBot?
ClaudeBot dotyczy treningu; Claude-SearchBot i Claude-User dotyczą tego, czy zostaniesz znaleziony i przeczytany, gdy ktoś o coś zapyta Claude. Anthropic ostrzega, że wyłączenie któregoś z dwóch ostatnich może zmniejszyć widoczność twojej witryny w odpowiedziach wyszukiwania Claude.
| Bot | Zadanie | Jeśli go zablokujesz |
|---|---|---|
| ClaudeBot | Zbiera treści z sieci, które mogą posłużyć do trenowania modeli | Sygnalizuje, że twoje przyszłe treści mają zostać pominięte w treningu |
| Claude-SearchBot | Czyta sieć, by poprawić jakość i trafność wyników wyszukiwania Claude | Wstrzymuje indeksowanie na potrzeby wyszukiwania, co może zmniejszyć twoją widoczność i dokładność w odpowiedziach wyszukiwania Claude |
| Claude-User | Pobiera stronę, gdy ktoś zadaje Claude pytanie, które jej wymaga | Claude nie może pobrać twoich stron dla takich pytań, co może zmniejszyć twoją widoczność w wyszukiwaniu kierowanym przez użytkownika |
Jak zablokować lub dopuścić ClaudeBot w robots.txt?
Dodaj grupę wskazującą ClaudeBot do pliku robots.txt w katalogu głównym każdego hosta. Przykład samego Anthropic blokuje ClaudeBot w całej witrynie jedną linią Disallow: / pod User-agent: ClaudeBot.
Częsty wybór to wyłączenie treści z treningu przy zachowaniu widoczności w odpowiedziach Claude: zablokuj ClaudeBot, dopuść dwa pozostałe. Crawl-delay to udokumentowany przez Anthropic sposób na spowolnienie ClaudeBot zamiast blokowania. Nie polegaj zamiast tego na blokowaniu adresów IP Anthropic; Anthropic podaje, że może to nie działać niezawodnie, bo przeszkadza botom w czytaniu twojego robots.txt. Potem sprawdź opublikowany plik za pomocą bezpłatnego sprawdzania crawlerów AI.
# Wyłącz treści z treningu Anthropic
User-agent: ClaudeBot
Disallow: /
# Pozostań widoczny w odpowiedziach Claude
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
# Albo zamiast blokować ClaudeBot, spowolnij go:
# User-agent: ClaudeBot
# Crawl-delay: 1Co to oznacza dla cytowań w Claude?
To, czy Claude cię zacytuje, zależy od tego, czy Claude-SearchBot i Claude-User dotrą do twoich stron; ClaudeBot to osobna decyzja dotycząca treningu. Zablokowanie wszystkich trzech oznacza rezygnację z obu.
Cytowania Claude są rozproszone nawet w przypadku znanej marki. W publicznym przykładzie Tesli (4 paź 2026) Claude wymienił Teslę w 11 z 25 odpowiedzi na pytania kupujących i podał w tych odpowiedziach 351 cytowań, tylko jedno do tesla.com. Najczęściej cytowaną witryną była en.wikipedia.org, 16 razy. To o tę przestrzeń cytowań reguła dla crawlera wyszukiwania pozwala ci walczyć, a mierzy się ją, zadając pytania, a nie czytając robots.txt. Zobacz, jak Claude wybiera marki, które wymienia.
Częste pytania o ClaudeBot
Czy zablokowanie ClaudeBot usuwa moją witrynę z Claude?
Według opisu Anthropic nie. ClaudeBot to crawler treningowy. Indeksowanie na potrzeby wyszukiwania to Claude-SearchBot, a pobieranie stron dla pytania użytkownika to Claude-User, i Anthropic podaje, że to zablokowanie tych dwóch może zmniejszyć twoją widoczność w odpowiedziach wyszukiwania Claude.
Czy ClaudeBot respektuje robots.txt?
Anthropic podaje, że jego boty respektują dyrektywy robots.txt, nie obchodzą CAPTCHA i obsługują Crawl-delay. Umieść regułę w robots.txt każdej subdomeny, którą chcesz objąć.
Czy blokować ClaudeBot po adresie IP?
Anthropic odradza poleganie na tym: blokowanie jego adresów IP może nie działać poprawnie ani trwale i uniemożliwia botom czytanie twojego robots.txt. Regułę ustaw w robots.txt, a opublikowaną przez Anthropic listę IP wykorzystuj tylko do potwierdzenia, że żądanie jest prawdziwe.
Czy ClaudeBot to to samo co anthropic-ai?
Nie. anthropic-ai i Claude-Web to starsze tokeny, które wciąż figurują w niektórych plikach robots.txt, a obecny artykuł Anthropic ich nie wspomina. Wymienia tylko ClaudeBot, Claude-SearchBot i Claude-User, więc pisz reguły dla tych trzech.
Powiązane pojęcia
- GPTBot
GPTBot to crawler OpenAI, który zbiera treści mogące posłużyć do trenowania generatywnych modeli bazowych OpenAI.
- OAI-SearchBot
OAI-SearchBot to crawler OpenAI, który pokazuje strony w funkcjach wyszukiwania ChatGPT; strony, które go blokują, nie pojawiają się w odpowiedziach wyszukiwania ChatGPT.
- PerplexityBot
PerplexityBot to crawler Perplexity, który indeksuje strony, aby mogły się pojawiać i być linkowane w wynikach wyszukiwania Perplexity.
Sprawdź, gdzie AI cię pomija, i co naprawić.
Zobacz, które pytania kupujących wymieniają twoją markę, kto jest wymieniany zamiast niej i co naprawić. 200 odpowiedzi. 25 Prompts/pytanie. Najlepsze silniki AI. 2 dni. Za darmo. Bez karty.
Google AI OverviewsGoogle AI Mode
