Apa itu PerplexityBot?
PerplexityBot adalah crawler Perplexity yang mengindeks halaman web agar dapat ditampilkan dan ditautkan di hasil pencarian Perplexity. Perplexity mendokumentasikan dua agen: PerplexityBot, yang membangun indeks pencariannya, dan Perplexity-User, yang mengambil halaman saat seseorang mengajukan pertanyaan ke Perplexity. Perplexity mengatakan PerplexityBot tidak dipakai untuk meng-crawl konten bagi model fondasi AI.
Apa string user agent PerplexityBot?
PerplexityBot mengidentifikasi dirinya dengan token produk PerplexityBot, dan token itulah yang harus disebut oleh grup di robots.txt.
Untuk memastikan permintaan itu asli, cek IP-nya terhadap daftar yang dipublikasikan Perplexity di perplexity.com/perplexitybot.json. Perplexity memperbarui rentang itu secara rutin dan menyarankan agar endpoint JSON dijadikan acuan.
Ini string lengkap yang diberikan dokumentasi Perplexity (dokumentasi crawler Perplexity, dibaca 15 Okt 2026):
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)Apa yang dibaca PerplexityBot, dan untuk apa?
PerplexityBot dirancang untuk menampilkan dan menautkan situs web di hasil pencarian Perplexity; agen ini mengambil halaman untuk membangun indeks yang dicari Perplexity saat menjawab. Perplexity mengatakan agen ini tidak dipakai untuk meng-crawl konten bagi model fondasi AI, dan merekomendasikan untuk mengizinkannya di robots.txt, bersama permintaan dari rentang IP yang dipublikasikannya, agar situs Anda bisa muncul di hasil pencarian.
Halaman Perplexity tidak menyebut apakah PerplexityBot menjalankan JavaScript. Asumsi aman untuk crawler mana pun adalah teks yang hanya ditambahkan oleh skrip mungkin tidak terbaca, jadi simpan jawaban atas pertanyaan setiap halaman di HTML yang dikirim server.
Apa bedanya PerplexityBot dengan Perplexity-User?
PerplexityBot meng-crawl lebih dulu untuk membangun indeks; Perplexity-User mengambil satu halaman saat pertanyaan pengguna membutuhkannya. Perplexity mengatakan keduanya tidak dipakai untuk mengumpulkan data pelatihan bagi model fondasi AI.
| Agen | Tugas | robots.txt | Daftar IP yang dipublikasikan |
|---|---|---|---|
| PerplexityBot | Menampilkan dan menautkan situs web di hasil pencarian Perplexity | Dikendalikan olehnya; Perplexity merekomendasikan untuk mengizinkannya | perplexity.com/perplexitybot.json |
| Perplexity-User | Mengunjungi halaman untuk membantu menjawab pertanyaan pengguna dan mungkin menautkannya di jawaban | Umumnya diabaikan, karena pengguna yang meminta pengambilan | perplexity.com/perplexity-user.json |
Bagaimana cara mengizinkan PerplexityBot di robots.txt?
Sebut PerplexityBot dalam grupnya sendiri dengan Allow: /, dan pastikan tidak ada aturan umum atau pengaturan firewall yang memblokirnya. Perplexity mengatakan setiap pengaturan robots.txt bekerja sendiri-sendiri dan perubahan bisa memakan waktu hingga 24 jam.
Jika ada web application firewall di depan situs Anda, saran Perplexity adalah aturan yang mencocokkan user agent (PerplexityBot atau Perplexity-User) sekaligus rentang IP yang dipublikasikan, dengan tindakan Allow dan, di AWS WAF, prioritas lebih tinggi daripada aturan pemblokiran Anda. Ambil daftar IP secara rutin karena bisa berubah, dan pantau log Anda setelah perubahan. Lalu pastikan robots.txt yang aktif dengan pengecek crawler AI gratis.
User-agent: PerplexityBot
Allow: /Apa artinya bagi peluang dikutip oleh Perplexity?
Perplexity mencantumkan sumbernya di setiap jawaban, jadi berada di indeksnya membuat sebuah situs bersaing untuk banyak slot kutipan. Dalam contoh publik Tesla (4 Okt 2026), Perplexity memberikan 375 kutipan di 25 pertanyaan pembeli, terbanyak dari keempat mesin, dan menyebut Tesla di 10 dari 25 jawaban. Situs yang paling banyak dikutipnya adalah autoedgeview.com, 21 kali; tesla.com dikutip 3 kali.
Halaman yang tidak bisa dijangkau PerplexityBot tidak bisa masuk indeks itu. Apakah Perplexity kemudian menyebut Anda diukur dengan menanyakan pertanyaannya. Lihat cara Perplexity memilih merek yang disebutnya.
Pertanyaan umum tentang PerplexityBot
Apakah PerplexityBot melatih model AI?
Perplexity mengatakan PerplexityBot tidak dipakai untuk meng-crawl konten bagi model fondasi AI. Tugasnya menampilkan dan menautkan situs web di hasil pencarian Perplexity.
Apakah Perplexity-User mematuhi robots.txt?
Perplexity mengatakan karena pengguna yang meminta pengambilan, Perplexity-User umumnya mengabaikan aturan robots.txt. PerplexityBot adalah agen yang dikendalikan oleh aturan robots.txt Anda.
Berapa lama perubahan robots.txt berlaku untuk Perplexity?
Perplexity mengatakan perubahan bisa memakan waktu hingga 24 jam untuk berlaku. Perubahan aturan firewall juga butuh waktu untuk menyebar, jadi cek log Anda sesudahnya.
Bagaimana saya tahu sebuah permintaan benar-benar dari PerplexityBot?
Cocokkan user agent sekaligus IP sumbernya dengan perplexity.com/perplexitybot.json. Perplexity merekomendasikan menggabungkan kedua pengecekan itu, karena string user agent saja bisa disalin.
Istilah terkait
- OAI-SearchBot
OAI-SearchBot adalah crawler OpenAI untuk menampilkan situs web di fitur pencarian ChatGPT, dan situs yang menolaknya tidak ditampilkan dalam jawaban pencarian ChatGPT.
- ClaudeBot
ClaudeBot adalah crawler web Anthropic yang mengumpulkan konten web yang dapat berkontribusi pada pelatihan model Claude milik Anthropic.
- GPTBot
GPTBot adalah crawler web OpenAI untuk mengumpulkan konten yang dapat dipakai melatih model fondasi AI generatif OpenAI.
Contoh kasus: Tesla, jawaban AI publik, 4 Okt 2026: pemindaian pertama Proofsource untuk Tesla, 25 pertanyaan pembeli dan 5 pertanyaan merek, satu jawaban per pertanyaan di masing-masing dari empat mesin. Sampel kecil dari satu merek, ditampilkan sebagai contoh, bukan tolok ukur.
Lihat di mana AI melewatkan Anda, dan apa yang perlu diperbaiki.
Lihat pertanyaan pembeli mana yang menyebut merek Anda, siapa yang disebut sebagai gantinya, dan apa yang perlu diperbaiki. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu.
Google AI OverviewsGoogle AI Mode
