Czym jest CCBot?
CCBot to crawler Common Crawl, organizacji non-profit, która publikuje wolną, otwartą kopię sieci, z której badacze i twórcy AI korzystają jako z danych treningowych. CCBot nie jest crawlerem firmy AI, ale jego archiwum zasila wiele modeli AI. Common Crawl publikuje swoją kopię sieci za darmo, więc zablokowanie CCBot to decyzja o otwartych zbiorach danych, na których trenują badacze i twórcy AI.
Czym jest Common Crawl i co robi CCBot?
Common Crawl opisuje się jako organizacja non-profit 501(c)(3), która chce bezpłatnie udostępniać kopię internetu badaczom, firmom i osobom prywatnym; CCBot to crawler, który tę kopię zbiera (FAQ Common Crawl, odczyt z 15 października 2026).
Dane trafiają do modeli AI przez twórców, którzy z nich korzystają. Artykuł OpenAI o GPT-3 wskazuje na przykład przefiltrowaną wersję Common Crawl jako największą część mieszanki treningowej tego modelu (Language Models are Few-Shot Learners, 28 maja 2020).
Jak zachowuje się CCBot?
Common Crawl dokumentuje zasady swojego crawlera:
- Sprawdza robots.txt i pobiera stronę tylko wtedy, gdy crawlowanie jest dozwolone.
- Przestrzega Crawl-delay; Crawl-delay: 2 ogranicza go do jednego żądania na 2 sekundy.
- Respektuje nofollow w linkach przy odkrywaniu linków.
- Okresowo ponownie sprawdza robots.txt, więc nowa blokada działa przy kolejnych wizytach.
- Działa z własnych zakresów IP z reverse DNS, opublikowanych jako JSON do weryfikacji.
Jak zablokować lub zweryfikować CCBot?
Dodaj w robots.txt grupę dla CCBot. Ciąg user-agent to CCBot/2.0 (https://commoncrawl.org/faq/), a Common Crawl podaje nazwę hosta reverse DNS w crawl.commoncrawl.org do weryfikacji żądania (CCBot).
# Trzymaj treści z dala od otwartego archiwum Common Crawl
User-agent: CCBot
Disallow: /Co zmienia zablokowanie CCBot, na prawdziwym przykładzie?
Zmienia przyszłe otwarte zbiory danych, nie dzisiejsze odpowiedzi. W publicznym przykładzie Tesli (4 paź 2026) Claude odpowiedział na „What is Tesla?” i „Is Tesla legit?” z tego, co model już wiedział, bez cytowania źródeł: ta pamięć pochodziła z danych treningowych zebranych dużo wcześniej.
W pytaniach kupujących te same silniki zacytowały 455 różnych stron, czytanych w chwili odpowiedzi przez ich własne crawlery wyszukiwania i fetchery. Reguła dla CCBot nie dotyka żadnej z tych bieżących ścieżek; agenci wyszukiwania i użytkownika tak.
Jak sprawdzić swoją regułę dla CCBot?
Przejrzyj działający robots.txt na każdym hoście pod kątem grupy CCBot i podejmij tę decyzję razem z decyzją o crawlerach trenujących AI. Darmowy test crawlerów AI czyta twój działający robots.txt, a dostęp crawlerów w Proofsource śledzi go w czasie.
Częste pytania o CCBot
Czy zablokowanie CCBot usunie moje strony z odpowiedzi AI?
Nie. Odpowiedzi AI, które wyszukują, korzystają z własnych crawlerów i fetcherów silników. CCBot wpływa tylko na przyszłe archiwum Common Crawl.
Czy zablokowanie CCBot usunie moje treści z istniejących zbiorów danych?
Dokumentacja Common Crawl opisuje, jak CCBot przestaje crawlować zablokowaną stronę. Nie mówi, że wcześniejsze archiwa są zmieniane, więc załóż, że to, co zebrano wcześniej, zostaje.
Czy CCBot to crawler firmy AI?
Nie. Common Crawl to organizacja non-profit, która publikuje swoje archiwum dla wszystkich. Twórcy AI są jednymi z wielu użytkowników tych danych.
Czy CCBot respektuje Crawl-delay?
Tak. Common Crawl podaje, że przestrzega parametru Crawl-delay w robots.txt.
Powiązane pojęcia
- GPTBot
GPTBot to crawler OpenAI, który zbiera treści mogące posłużyć do trenowania generatywnych modeli bazowych OpenAI.
- ClaudeBot
ClaudeBot to crawler Anthropic, który zbiera treści z sieci mogące posłużyć do trenowania modeli Claude firmy Anthropic.
- Applebot-Extended
Applebot-Extended to token robots.txt, który pozwala stronie nie zgodzić się na wykorzystanie jej treści przez Apple do trenowania modeli bazowych; sam niczego nie crawluje.
- robots.txt
robots.txt to plik tekstowy w katalogu głównym strony, który mówi crawlerom, jakie ścieżki mogą pobierać, zgodnie z Robots Exclusion Protocol (RFC 9309).
Przykład: Tesla, publiczne odpowiedzi AI, 4 paź 2026: pierwszy skan Tesli wykonany przez Proofsource, z 25 pytaniami kupujących i 5 pytaniami o markę, po jednej odpowiedzi na pytanie w każdym z czterech silników. Mała próba dla jednej marki, pokazana jako przykład, a nie benchmark.
Sprawdź, gdzie AI cię pomija, i co naprawić.
Zobacz, które pytania kupujących wymieniają twoją markę, kto jest wymieniany zamiast niej i co naprawić. 200 odpowiedzi. 25 Prompts/pytanie. Najlepsze silniki AI. 2 dni. Za darmo. Bez karty.
Google AI OverviewsGoogle AI Mode
