Apa itu OAI-SearchBot?
OAI-SearchBot adalah crawler OpenAI untuk menampilkan situs web di fitur pencarian ChatGPT, dan situs yang menolaknya tidak ditampilkan dalam jawaban pencarian ChatGPT. Dari empat user agent yang didokumentasikan OpenAI, inilah yang menentukan apakah halaman Anda bisa muncul sebagai sumber di ChatGPT search. OpenAI merekomendasikan untuk mengizinkannya, terpisah dari GPTBot yang mengumpulkan data pelatihan.
Apa string user agent OAI-SearchBot?
OAI-SearchBot mengidentifikasi dirinya dengan token produk OAI-SearchBot, dan token itulah yang harus disebut oleh grup di robots.txt. Berbeda dengan GPTBot, string lengkapnya diawali blok bergaya browser, dan OpenAI mencatat nomor versinya bisa berubah, jadi cocokkan tokennya. Saat agen ini mengambil robots.txt Anda, OpenAI mengatakan string-nya mungkin membawa penanda robots.txt tambahan.
Untuk memastikan permintaan itu asli, cek IP-nya terhadap openai.com/searchbot.json, daftar yang dipublikasikan OpenAI untuk agen ini.
Ini string lengkap yang diberikan dokumentasi OpenAI (dokumentasi crawler OpenAI, dibaca 15 Okt 2026):
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotApa yang ditentukan OAI-SearchBot?
OAI-SearchBot menentukan apakah ChatGPT search bisa menampilkan situs Anda. OpenAI mengatakan agen ini dipakai untuk menampilkan situs web di fitur pencarian ChatGPT, dan situs yang memilih keluar darinya tidak akan ditampilkan di jawaban ChatGPT search, meskipun tetap bisa muncul sebagai tautan navigasional.
OpenAI merekomendasikan untuk mengizinkan OAI-SearchBot di robots.txt dan mengizinkan permintaan dari rentang IP yang dipublikasikannya. Aturannya terpisah dari GPTBot: mengizinkan OAI-SearchBot tidak memasukkan Anda ke pelatihan.
Apa bedanya OAI-SearchBot dengan GPTBot?
OAI-SearchBot untuk pencarian dan GPTBot untuk pelatihan. Kedua aturan diatur terpisah, dan OpenAI memberi pemisahan itu sebagai contohnya sendiri: izinkan OAI-SearchBot agar muncul di hasil pencarian, larang GPTBot agar konten tetap di luar pelatihan. Jika keduanya diizinkan, OpenAI mengatakan mungkin memakai satu crawl untuk kedua tujuan.
| Agen | Tujuan | Daftar IP yang dipublikasikan |
|---|---|---|
| OAI-SearchBot | Menampilkan situs web di ChatGPT search | openai.com/searchbot.json |
| GPTBot | Meng-crawl konten yang mungkin melatih model fondasi OpenAI | openai.com/gptbot.json |
| ChatGPT-User | Mengunjungi halaman saat pertanyaan pengguna atau GPT Action membutuhkannya | openai.com/chatgpt-user.json |
| OAI-AdsBot | Mengecek halaman landing yang diajukan sebagai iklan ChatGPT | openai.com/adsbot.json |
Bagaimana cara mengecek bahwa Anda mengizinkan OAI-SearchBot?
Cek tiga tempat, karena salah satunya saja bisa menutup akses OAI-SearchBot sementara yang lain tampak baik:
- robots.txt: tidak ada grup yang menyebut OAI-SearchBot melarang halaman Anda, dan tidak ada aturan umum User-agent: * yang memblokirnya tanpa grup OAI-SearchBot yang menimpanya.
- CDN atau firewall Anda: tidak ada pengaturan pemblokiran bot yang menolak permintaan OAI-SearchBot atau rentang IP yang dipublikasikannya sebelum robots.txt dibaca.
- Halamannya sendiri: teks yang ingin Anda dikutip ada di HTML, bukan hanya ditambahkan setelah JavaScript berjalan.
- Lalu beri waktu: OpenAI mengatakan perubahan robots.txt bisa memakan waktu sekitar 24 jam untuk terlihat di hasil pencarian.
# Izinkan ChatGPT search, jaga konten di luar pelatihan
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /Apa artinya bagi peluang dikutip di ChatGPT?
Dalam contoh publik Tesla (4 Okt 2026), ChatGPT mengutip tesla.com 12 kali dari 93 kutipan di 25 pertanyaan pembeli, sekitar 13%, pangsa tertinggi dari keempat mesin. Tiga mesin lainnya bersama-sama mengutip tesla.com 5 kali dari 915.
Situs yang memilih keluar dari OAI-SearchBot tidak bisa menjadi salah satu sumber itu, menurut deskripsi OpenAI sendiri. Pengecek crawler AI gratis membaca robots.txt aktif Anda untuk OAI-SearchBot dan agen AI lainnya dalam hitungan detik; apakah ChatGPT kemudian menyebut Anda diukur dengan menanyakan pertanyaannya. Lihat cara ChatGPT memilih merek yang disebutnya.
Pertanyaan umum tentang OAI-SearchBot
Apakah mengizinkan OAI-SearchBot membuat OpenAI melatih model dengan konten saya?
Tidak. OpenAI mengatakan setiap pengaturan robots.txt berdiri sendiri: pelatihan adalah aturan GPTBot. Jika Anda mengizinkan keduanya, OpenAI mengatakan mungkin memakai satu crawl untuk kedua tujuan, jadi larang GPTBot jika Anda tidak ingin konten dipakai untuk pelatihan.
Berapa lama perubahan robots.txt berlaku untuk ChatGPT search?
OpenAI mengatakan sistemnya bisa butuh sekitar 24 jam sejak pembaruan robots.txt untuk menyesuaikan hasil pencarian.
Jika saya memblokir OAI-SearchBot, apakah situs saya masih bisa muncul di ChatGPT?
OpenAI mengatakan situs yang memilih keluar tidak ditampilkan di jawaban ChatGPT search, tetapi tetap bisa muncul sebagai tautan navigasional. ChatGPT-User juga mungkin membuka halaman yang ditanyakan pengguna, dan OpenAI mengatakan aturan robots.txt mungkin tidak berlaku untuk kunjungan yang dimulai pengguna itu.
Apakah OAI-SearchBot menjalankan JavaScript?
Halaman crawler OpenAI tidak menyebutkannya. Taruh teks yang ingin Anda dikutip di HTML yang dikirim server, sehingga tidak ada crawler yang bergantung pada menjalankan skrip untuk membacanya.
Istilah terkait
- GPTBot
GPTBot adalah crawler web OpenAI untuk mengumpulkan konten yang dapat dipakai melatih model fondasi AI generatif OpenAI.
- ClaudeBot
ClaudeBot adalah crawler web Anthropic yang mengumpulkan konten web yang dapat berkontribusi pada pelatihan model Claude milik Anthropic.
- PerplexityBot
PerplexityBot adalah crawler Perplexity yang mengindeks halaman web agar dapat ditampilkan dan ditautkan di hasil pencarian Perplexity.
Contoh kasus: Tesla, jawaban AI publik, 4 Okt 2026: pemindaian pertama Proofsource untuk Tesla, 25 pertanyaan pembeli dan 5 pertanyaan merek, satu jawaban per pertanyaan di masing-masing dari empat mesin. Sampel kecil dari satu merek, ditampilkan sebagai contoh, bukan tolok ukur.
Lihat di mana AI melewatkan Anda, dan apa yang perlu diperbaiki.
Lihat pertanyaan pembeli mana yang menyebut merek Anda, siapa yang disebut sebagai gantinya, dan apa yang perlu diperbaiki. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu.
Google AI OverviewsGoogle AI Mode
