Apa itu CCBot?
CCBot adalah crawler web milik Common Crawl, organisasi nirlaba yang menerbitkan salinan web yang gratis dan terbuka, yang dipakai peneliti dan pengembang AI sebagai data pelatihan. CCBot bukan crawler milik perusahaan AI, tetapi arsipnya menjadi bahan bagi banyak model AI. Common Crawl memublikasikan salinan web-nya secara gratis, jadi memblokir CCBot adalah keputusan tentang dataset terbuka yang dipakai peneliti dan pengembang AI untuk pelatihan.
Apa itu Common Crawl, dan apa yang dilakukan CCBot?
Common Crawl menggambarkan dirinya sebagai organisasi nirlaba 501(c)(3) yang berdedikasi menyediakan salinan internet bagi peneliti, perusahaan, dan individu tanpa biaya; CCBot adalah crawler yang mengumpulkannya (FAQ Common Crawl, dibaca 15 Okt 2026).
Datanya sampai ke model AI melalui pengembang yang menggunakannya. Makalah GPT-3 dari OpenAI, misalnya, mencantumkan versi Common Crawl yang telah difilter sebagai bagian terbesar dari campuran data pelatihan model itu (Language Models are Few-Shot Learners, 28 Mei 2020).
Bagaimana perilaku CCBot?
Common Crawl mendokumentasikan aturan crawler-nya:
- Ia mengecek robots.txt dan hanya mengambil halaman jika crawling diizinkan.
- Ia mematuhi Crawl-delay; Crawl-delay: 2 membatasinya ke satu permintaan setiap 2 detik.
- Ia menghormati nofollow pada tautan untuk penemuan tautan.
- Ia mengecek ulang robots.txt secara berkala, jadi blokir baru berlaku pada kunjungan berikutnya.
- Ia berjalan di rentang IP khusus dengan reverse DNS, yang dipublikasikan sebagai JSON untuk verifikasi.
Bagaimana memblokir atau memverifikasi CCBot?
Tambahkan grup untuk CCBot di robots.txt. String user-agent-nya adalah CCBot/2.0 (https://commoncrawl.org/faq/), dan Common Crawl memberikan hostname reverse DNS di bawah crawl.commoncrawl.org untuk memverifikasi permintaan (CCBot).
# Jauhkan konten dari arsip terbuka Common Crawl
User-agent: CCBot
Disallow: /Apa yang berubah jika memblokir CCBot, dalam contoh nyata?
Yang berubah adalah dataset terbuka di masa depan, bukan jawaban hari ini. Dalam contoh Tesla publik (4 Okt 2026), Claude menjawab "What is Tesla?" dan "Is Tesla legit?" dari apa yang sudah diketahui model, tanpa sumber yang dikutip: ingatan itu berasal dari data pelatihan yang dikumpulkan jauh sebelumnya.
Pada pertanyaan pembeli, mesin yang sama mengutip 455 situs web berbeda, yang dibaca saat menjawab oleh crawler pencarian dan fetcher mereka sendiri. Aturan CCBot tidak menyentuh kedua jalur langsung itu; agen pencarian dan agen pengguna yang menyentuhnya.
Bagaimana mengecek aturan CCBot Anda?
Baca robots.txt yang tayang di setiap host untuk mencari grup CCBot, dan putuskan bersamaan dengan crawler pelatihan AI. Pemeriksa crawler AI gratis membaca robots.txt Anda yang tayang, dan Crawler access di Proofsource melacaknya dari waktu ke waktu.
Pertanyaan umum tentang CCBot
Apakah memblokir CCBot menghapus halaman saya dari jawaban AI?
Tidak. Jawaban AI yang melakukan pencarian menggunakan crawler dan fetcher milik mesin itu sendiri. CCBot hanya memengaruhi arsip Common Crawl di masa depan.
Apakah memblokir CCBot menghapus konten saya dari dataset yang sudah ada?
Dokumentasi Common Crawl menjelaskan bagaimana CCBot berhenti meng-crawl situs yang diblokir. Dokumentasi itu tidak menyatakan arsip lama diubah, jadi anggap apa yang sudah dikumpulkan tetap ada.
Apakah CCBot crawler milik perusahaan AI?
Bukan. Common Crawl adalah organisasi nirlaba yang memublikasikan arsipnya untuk siapa saja. Pengembang AI termasuk di antara banyak pengguna data itu.
Apakah CCBot mematuhi Crawl-delay?
Ya. Common Crawl menyatakan ia mematuhi parameter Crawl-delay di robots.txt.
Istilah terkait
- GPTBot
GPTBot adalah crawler web OpenAI untuk mengumpulkan konten yang dapat dipakai melatih model fondasi AI generatif OpenAI.
- ClaudeBot
ClaudeBot adalah crawler web Anthropic yang mengumpulkan konten web yang dapat berkontribusi pada pelatihan model Claude milik Anthropic.
- Applebot-Extended
Applebot-Extended adalah token robots.txt yang memungkinkan sebuah situs menolak kontennya dipakai Apple untuk melatih model fondasi Apple, dan token ini sendiri tidak meng-crawl apa pun.
- robots.txt
robots.txt adalah file teks biasa di root situs web yang memberi tahu crawler jalur mana yang boleh diambil, berdasarkan Robots Exclusion Protocol (RFC 9309).
Contoh kasus: Tesla, jawaban AI publik, 4 Okt 2026: pemindaian pertama Proofsource untuk Tesla, 25 pertanyaan pembeli dan 5 pertanyaan merek, satu jawaban per pertanyaan di masing-masing dari empat mesin. Sampel kecil dari satu merek, ditampilkan sebagai contoh, bukan tolok ukur.
Lihat di mana AI melewatkan Anda, dan apa yang perlu diperbaiki.
Lihat pertanyaan pembeli mana yang menyebut merek Anda, siapa yang disebut sebagai gantinya, dan apa yang perlu diperbaiki. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu.
Google AI OverviewsGoogle AI Mode
