Apa itu GPTBot?
GPTBot adalah crawler web OpenAI untuk mengumpulkan konten yang dapat dipakai melatih model fondasi AI generatif OpenAI. GPTBot adalah satu dari empat user agent yang didokumentasikan OpenAI, dan satu-satunya yang bertugas untuk pelatihan. Melarangnya memberi tahu OpenAI untuk tidak memakai halaman Anda untuk pelatihan; itu tidak mengeluarkan Anda dari ChatGPT search, yang merupakan tugas OAI-SearchBot.
Apa string user agent GPTBot?
GPTBot mengidentifikasi dirinya dengan token produk GPTBot, dan token itulah yang harus disebut oleh grup di robots.txt. OpenAI mencatat bahwa nomor versi bisa berubah, jadi cocokkan token di log Anda, bukan seluruh string. OpenAI juga mengatakan mungkin menambahkan penanda robots.txt ke string saat GPTBot mengambil robots.txt Anda, agar permintaan itu bisa dibedakan.
Nama di baris log bisa disalin oleh scraper mana pun. Untuk memastikan permintaan itu asli, cek IP-nya terhadap daftar yang dipublikasikan OpenAI di openai.com/gptbot.json.
Ini string lengkap yang diberikan dokumentasi OpenAI (dokumentasi crawler OpenAI, dibaca 15 Okt 2026):
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotApa yang dilakukan GPTBot, dan apa yang tidak?
GPTBot meng-crawl konten yang mungkin dipakai untuk melatih model fondasi AI generatif OpenAI, dan hanya itu yang dikatakan OpenAI tentang tugasnya. Melarangnya di robots.txt menunjukkan bahwa konten situs Anda tidak boleh dipakai untuk pelatihan itu.
Apa yang tidak dilakukannya lebih penting untuk visibilitas:
- GPTBot tidak menentukan apakah halaman Anda muncul di ChatGPT search. OpenAI mengaitkan itu dengan OAI-SearchBot.
- GPTBot bukan agen yang membuka halaman saat seseorang bertanya ke ChatGPT tentangnya. Itu ChatGPT-User.
- Aturannya terpisah dari yang lain: OpenAI mengatakan setiap pengaturan robots.txt bekerja sendiri-sendiri.
- Jika Anda mengizinkan GPTBot dan OAI-SearchBot, OpenAI mengatakan mungkin memakai satu crawl untuk kedua tujuan.
Apa bedanya GPTBot dengan OAI-SearchBot dan ChatGPT-User?
Ketiganya punya tugas berbeda, jadi satu baris robots.txt tidak bisa menggantikan yang lain. Inilah kekeliruan di balik aturan populer yang memblokir GPTBot dengan anggapan itu menjauhkan situs dari ChatGPT; memblokir GPTBot tidak menghapus Anda dari ChatGPT.
| Agen | Tugas | Jika Anda melarangnya |
|---|---|---|
| GPTBot | Meng-crawl konten yang mungkin dipakai untuk melatih model fondasi OpenAI | Memberi sinyal bahwa konten Anda tidak boleh dipakai untuk pelatihan |
| OAI-SearchBot | Menampilkan situs web di fitur pencarian ChatGPT | Tidak ditampilkan di jawaban ChatGPT search, meskipun tautan navigasional tetap bisa muncul |
| ChatGPT-User | Mengunjungi halaman saat pengguna bertanya ke ChatGPT atau GPT kustom, atau melalui GPT Actions | OpenAI mengatakan aturan robots.txt mungkin tidak berlaku, karena kunjungan dimulai oleh pengguna |
| OAI-AdsBot | Mengecek keamanan halaman landing yang diajukan sebagai iklan di ChatGPT | Tidak relevan kecuali Anda menjalankan iklan ChatGPT; agen ini hanya mengunjungi halaman iklan yang diajukan |
Bagaimana cara memblokir atau mengizinkan GPTBot di robots.txt?
Sebut GPTBot dalam grupnya sendiri di robots.txt di root situs Anda. Pilihan umum adalah memblokir GPTBot dan mengizinkan OAI-SearchBot: tidak untuk pelatihan, ya untuk ChatGPT search.
OpenAI mengatakan perubahan robots.txt bisa memakan waktu sekitar 24 jam untuk terlihat di hasil pencarian. Aturan juga bisa ditimpa di edge: pengaturan bot di CDN atau firewall bisa memblokir agen yang diizinkan robots.txt Anda. Cek keduanya dengan pengecek crawler AI gratis.
# Tidak untuk pelatihan
User-agent: GPTBot
Disallow: /
# Ya untuk ChatGPT search
User-agent: OAI-SearchBot
Allow: /Apa artinya bagi peluang dikutip di ChatGPT?
Dalam contoh publik Tesla (4 Okt 2026), ChatGPT mengutip situs merek itu sendiri jauh lebih sering daripada mesin lain: tesla.com 12 kali dari 93 kutipan di 25 pertanyaan pembeli, sekitar 13%, sementara tiga mesin lain bersama-sama mengutipnya 5 kali dari 915.
Tautan-tautan itu berasal dari fitur pencarian ChatGPT, yang oleh OpenAI dikaitkan dengan OAI-SearchBot, bukan GPTBot. Memblokir GPTBot tidak memengaruhinya; memblokir OAI-SearchBot memengaruhinya. Lihat cara ChatGPT memilih merek yang disebutnya.
Pertanyaan umum tentang GPTBot
Apakah memblokir GPTBot menghapus situs saya dari ChatGPT?
Tidak. GPTBot adalah crawler pelatihan. OpenAI mengatakan situs yang memilih keluar dari OAI-SearchBot tidak ditampilkan di jawaban ChatGPT search; GPTBot tidak punya peran itu. Setiap pengaturan robots.txt berdiri sendiri.
Apakah memblokir GPTBot menghapus konten yang sudah dikumpulkan OpenAI?
Halaman crawler OpenAI menggambarkan aturan GPTBot sebagai sinyal bahwa konten Anda tidak boleh dipakai untuk pelatihan. Halaman itu tidak menyebut apa pun tentang konten yang dikumpulkan sebelum aturan ditambahkan, jadi jangan berasumsi demikian.
Bagaimana saya tahu sebuah permintaan benar-benar dari GPTBot?
Cek IP sumbernya terhadap daftar yang dipublikasikan OpenAI di openai.com/gptbot.json. String user agent saja bisa disalin oleh scraper mana pun.
Apakah GPTBot sama dengan ChatGPT-User?
Tidak. ChatGPT-User mengunjungi halaman saat seseorang bertanya sesuatu ke ChatGPT atau GPT kustom, dan OpenAI mengatakan agen ini tidak dipakai untuk crawling otomatis. Karena kunjungan dimulai pengguna, aturan robots.txt mungkin tidak berlaku untuknya.
Istilah terkait
- OAI-SearchBot
OAI-SearchBot adalah crawler OpenAI untuk menampilkan situs web di fitur pencarian ChatGPT, dan situs yang menolaknya tidak ditampilkan dalam jawaban pencarian ChatGPT.
- ClaudeBot
ClaudeBot adalah crawler web Anthropic yang mengumpulkan konten web yang dapat berkontribusi pada pelatihan model Claude milik Anthropic.
- PerplexityBot
PerplexityBot adalah crawler Perplexity yang mengindeks halaman web agar dapat ditampilkan dan ditautkan di hasil pencarian Perplexity.
Contoh kasus: Tesla, jawaban AI publik, 4 Okt 2026: pemindaian pertama Proofsource untuk Tesla, 25 pertanyaan pembeli dan 5 pertanyaan merek, satu jawaban per pertanyaan di masing-masing dari empat mesin. Sampel kecil dari satu merek, ditampilkan sebagai contoh, bukan tolok ukur.
Lihat di mana AI melewatkan Anda, dan apa yang perlu diperbaiki.
Lihat pertanyaan pembeli mana yang menyebut merek Anda, siapa yang disebut sebagai gantinya, dan apa yang perlu diperbaiki. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu.
Google AI OverviewsGoogle AI Mode
