Catatan lapangan4 menit baca

53% permintaan yang mengaku GPTBot, ClaudeBot, atau PerplexityBot di enam situs web berasal dari tempat lain

Nama bot adalah sesuatu yang diketik sendiri oleh pengunjung. Alamatnya yang menjadi bukti. Di separuh situs yang kami periksa, sebagian besar lalu lintas crawler AI hanyalah samaran, dan di separuh lainnya hampir tidak ada.

Kami mencocokkan 64.222 permintaan crawler AI dengan daftar resmi pembuatnya

Apakah kunjungan crawler AI di log Anda asli? Crawler memperkenalkan dirinya lewat user agent, sebaris teks seperti "GPTBot/1.1". Siapa pun bisa mengirim baris itu. OpenAI, Anthropic, dan Perplexity masing-masing menerbitkan alamat IP yang dipakai bot mereka, dan sebuah permintaan hanya benar-benar milik mereka jika nama dan alamatnya cocok.

Enam situs web telah menghubungkan Cloudflare ke Proofsource, dan tidak satu pun milik kami. Untuk setiap permintaan yang memakai nama crawler AI, kami mencocokkan alamatnya dengan daftar yang diterbitkan pembuatnya. Kami mengambil periode 12 Oktober hingga 13 November 2026, 33 hari, dan lima bot: GPTBot, OAI-SearchBot, dan ChatGPT-User dari OpenAI, ClaudeBot dari Anthropic, serta PerplexityBot. Angka-angkanya adalah perkiraan dari data permintaan Cloudflare yang diambil sampelnya.

52,9% permintaan gagal, dan GPTBot paling sering gagal di antara crawler

Dari 64.222 permintaan yang memakai nama salah satu dari lima bot itu, 33.964 berasal dari alamat yang tidak dicantumkan pembuatnya: 52,9%. Per bot, porsi yang gagal adalah 83,0% untuk ChatGPT-User, 72,6% untuk GPTBot, 61,0% untuk ClaudeBot, 34,4% untuk OAI-SearchBot, dan 34,1% untuk PerplexityBot.

Googlebot, yang diperiksa dengan cara yang sama terhadap daftar Google, gagal di 20,7% permintaan di situs yang sama. Nama crawler AI lebih sering dipalsukan daripada nama Google, setidaknya di sini.

Tiga situs sebagian besar palsu dan tiga hampir bersih

Rata-rata menyembunyikan cerita sebenarnya. Di tiga situs, 69%, 84%, dan 96% permintaan crawler AI gagal dalam pemeriksaan. Di tiga lainnya, angkanya 4%, 5%, dan 7%. Di situs terburuk, ClaudeBot membuat 251 permintaan terverifikasi dan 7.144 yang gagal.

Jadi satu tolok ukur untuk "berapa banyak lalu lintas bot AI yang palsu" tidak banyak artinya. Situs Anda bisa berada di ujung mana pun, dan hanya pemeriksaan atas lalu lintas Anda sendiri yang bisa memberi tahu di ujung mana.

200 dari 253 alamat yang gagal juga mengaku sebagai bot perusahaan lain

Cloudflare memberi kami hingga tiga contoh alamat per bot, situs, dan hari. Di luar server kami sendiri, 253 alamat sampel gagal saat mengaku sebagai salah satu dari lima bot itu. 200 di antaranya juga mengaku sebagai bot dari perusahaan lain pada permintaan lain, dan 168 mengaku sebagai bot dari tiga perusahaan atau lebih. Satu alamat memakai 12 nama bot berbeda dari sembilan perusahaan.

Tidak ada crawler asli yang berbuat begitu. GPTBot datang dari daftar OpenAI dan Googlebot dari daftar Google. Alamat yang mengaku sebagai keduanya adalah seseorang yang mencoba nama demi nama sampai ada yang lolos, paling sering dari server cloud sewaan.

Daftar itu melewatkan sebagian lalu lintas asli, jadi periksa semua daftar

Pemeriksaan ini juga tidak sempurna ke arah sebaliknya. Claude-User, agen yang dipakai Claude untuk membaca halaman yang ditanyakan pengguna, gagal di 97,5% permintaan di situs-situs ini. Sekitar separuh kegagalan dalam sampel berasal dari 160.79.104.0/21, rentang yang diterbitkan Anthropic di halaman IP API-nya sebagai sumber panggilan web fetch dan web search keluar dari API-nya, dan halaman itu bukan daftar crawler-nya.

Kunjungan itu sangat mungkin asli, dan pemeriksaan yang hanya memakai daftar crawler menandainya palsu. Karena itu kami mengeluarkan Claude-User dari angka 52,9%. Jika Anda memverifikasi secara manual, periksa setiap rentang yang diterbitkan perusahaan untuk fetcher-nya, bukan hanya file crawler.

Yang akan kami lakukan

  • Hitung kunjungan crawler AI berdasarkan alamat yang terverifikasi, bukan berdasarkan nama. Dasbor yang menghitung nama bisa lebih dari separuhnya samaran.
  • Pakai daftar dari setiap pembuat: openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.json, claude.com/crawling/bots.json ditambah rentang API Anthropic, dan perplexity.ai/perplexitybot.json.
  • Jika firewall Anda mengizinkan bot masuk berdasarkan nama, cocokkan juga alamatnya. Dokumentasi Perplexity sendiri menunjukkan aturan Cloudflare yang memasangkan setiap user agent dengan rentang IP-nya.
  • Jangan memblokir bot berdasarkan nama karena ulah peniru. Yang palsu bukan bot itu, dan memblokir OAI-SearchBot atau PerplexityBot yang asli membuat Anda tidak muncul di hasil pencarian mereka.

Cara Proofsource menampilkannya

Saat sebuah situs menghubungkan Cloudflare, Proofsource mencocokkan alamat setiap permintaan crawler AI dengan daftar yang diterbitkan pembuatnya dan menampilkan permintaan yang terverifikasi dan yang gagal secara terpisah untuk setiap bot. Bot yang pembuatnya tidak menerbitkan daftar ditampilkan sebagai tidak dapat diverifikasi, bukan dihitung asli atau palsu. Pemeriksaan kami masih memiliki celah Claude-User yang dijelaskan di atas, dan kami sedang menambahkan rentang API Anthropic ke dalamnya.

Di mana temuan ini bisa keliru

Enam situs adalah sampel kecil, dan situs-situs itu menghubungkan Cloudflare ke alat visibilitas, jadi mungkin tidak mirip situs pada umumnya. Selisih di antara mereka lebih penting daripada angka 52,9%.

Sebuah daftar bisa usang atau tidak lengkap, seperti yang ditunjukkan Claude-User. Sebagian kegagalan untuk bot lain bisa jadi lalu lintas asli dari alamat yang belum tercantum. Alamat yang mengaku sebagai bot dari beberapa perusahaan membuat hal itu kecil kemungkinannya untuk sebagian besar kasus.

Pemeriksaan situs kami sendiri mengirim beberapa permintaan dengan nama-nama bot ini. Paling banyak 300 bisa masuk dalam periode ini; jika semuanya dibuang, angkanya masih 52,7%.

Permintaan tidak saling independen, dan satu scraper yang sibuk bisa menggeser angka sebuah situs. Satu laporan dari pihak luar, tentang satu situs baru selama dua minggu, menemukan 6 dari 33 kunjungan yang mengaku sebagai asisten AI itu asli. Situs dan metodenya berbeda, tetapi arahnya sama.

Dari mana angka-angka eksternal berasal

  1. Overview of OpenAI Crawlers · OpenAI
  2. Does Anthropic crawl data from the web, and how can site owners block the crawler? · Anthropic
  3. IP addresses · Anthropic
  4. Perplexity Crawlers · Perplexity
  5. Verify Requests from Google Crawlers and Fetchers · Google
  6. 81.8% Of My 'AI Assistant' Traffic Was Fake. The Googlebot Number Was Worse · Search Engine Journal
Semua catatan

Pertanyaan

Apakah kunjungan crawler AI di log saya asli?

Periksa alamatnya, bukan namanya. Di enam situs web dari 12 Oktober hingga 13 November 2026, 52,9% permintaan yang memakai nama bot OpenAI, Anthropic, atau Perplexity berasal dari alamat yang tidak diterbitkan perusahaan tersebut. Porsinya berkisar dari 4% di satu situs hingga 96% di situs lain.

Bagaimana memverifikasi bahwa permintaan GPTBot benar-benar dari OpenAI?

Cocokkan alamat IP permintaan itu dengan daftar yang diterbitkan OpenAI di openai.com/gptbot.json. OpenAI menerbitkan daftar terpisah untuk OAI-SearchBot dan ChatGPT-User, Anthropic dan Perplexity menerbitkan daftar sendiri, dan Google mendokumentasikan reverse DNS serta daftar IP untuk crawler-nya.

Haruskah saya memblokir crawler AI yang gagal dalam pemeriksaan?

Blokir alamat yang gagal jika Anda mau, tetapi jangan nama botnya. Memblokir OAI-SearchBot atau PerplexityBot berdasarkan nama juga menghalangi crawler yang asli, dan menurut perusahaan tersebut hal itu membuat halaman Anda tidak masuk ke jawaban pencarian mereka.

Angka Anda sendiri mengalahkan artikel terbaik kami.

Daftar pendek di kategori Anda sedang ditulis saat ini juga, entah ada yang membaca halaman ini atau tidak. Uji coba gratis, 25 pertanyaan di empat mesin hari ini, memberi tahu Anda apakah nama Anda ada di dalamnya.

100 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. Gratis.ChatGPTPerplexityClaudeGoogle AI OverviewsGoogle AI ModeGeminiMicrosoft CopilotGrokDeepSeekMeta AI