Apa itu Applebot-Extended?
Applebot-Extended adalah token robots.txt yang memungkinkan sebuah situs menolak kontennya dipakai Apple untuk melatih model fondasi Apple, dan token ini sendiri tidak meng-crawl apa pun. Apple memisahkan crawling dari pelatihan. Applebot melakukan crawl web untuk fitur pencarian Apple; Applebot-Extended hanyalah sakelar robots.txt yang menyatakan apakah konten hasil crawl itu boleh melatih model fondasi Apple.
Apa yang diatur Applebot-Extended?
Token ini memungkinkan situs memilih agar kontennya tidak dipakai untuk melatih model fondasi serbaguna Apple, yang menurut Apple menjalankan fitur AI generatif di seluruh produknya. Apple menyatakan bahwa Applebot-Extended tidak melakukan crawl halaman web; token ini hanya mengatur bagaimana data yang sudah di-crawl Applebot boleh digunakan (Apple Support, diterbitkan 4 September 2026).
Apakah memblokirnya mengeluarkan Anda dari Siri atau Spotlight?
Tidak. Apple menyatakan halaman web yang melarang Applebot-Extended tetap dapat disertakan dalam hasil pencarian, dan aturan untuk Applebot-Extended tidak dipertimbangkan dalam peringkat Search.
Applebot sendiri adalah crawler yang datanya menjalankan fitur seperti teknologi pencarian di Spotlight, Siri, dan Safari. Memblokir Applebot, bukan Applebot-Extended, yang akan mengeluarkan Anda dari fitur-fitur itu.
Bagaimana cara memakai Applebot-Extended?
Tambahkan grup untuknya di robots.txt. Contoh dari Apple sendiri melarang satu direktori; melarang / mencakup seluruh situs. Untuk memastikan lalu lintasnya benar-benar dari Apple, Apple merujuk ke reverse DNS di domain applebot.apple.com atau daftar prefiks IP yang dipublikasikannya.
# Jauhkan konten dari pelatihan model fondasi Apple
User-agent: Applebot-Extended
Disallow: /
# Tetap ada di fitur pencarian Apple (Spotlight, Siri, Safari)
User-agent: Applebot
Allow: /Apa yang diubah opsi keluar pelatihan, dalam contoh nyata?
Opsi ini mengubah apa yang dipelajari model mendatang, bukan apa yang dibaca mesin hari ini. Dalam contoh Tesla publik (4 Okt 2026), keempat mesin mengutip 455 situs berbeda di 25 pertanyaan pembeli: jawaban-jawaban itu dibentuk oleh halaman yang dapat dibaca mesin saat menjawab.
Opsi keluar pelatihan seperti aturan Applebot-Extended, GPTBot, atau ClaudeBot bekerja pada separuh yang lebih lambat, yaitu apa yang diingat model. Agen pencarian dan agen pengambilan pengguna bekerja pada separuh yang lebih cepat.
Bagaimana memeriksa aturan Applebot Anda?
Baca robots.txt aktif Anda di setiap host untuk grup Applebot dan Applebot-Extended. Pemeriksa crawler AI gratis menunjukkan agen AI mana yang diizinkan atau diblokir aturan Anda, dan Akses crawler di Proofsource melacaknya.
Pertanyaan umum tentang Applebot-Extended
Apakah Applebot-Extended melakukan crawl situs saya?
Tidak. Apple menyatakan token ini tidak melakukan crawl halaman web. Token ini hanya memberi tahu Apple apakah konten yang di-crawl Applebot boleh melatih model fondasinya.
Apakah memblokir Applebot-Extended akan memengaruhi peringkat pencarian Apple?
Tidak. Apple menyatakan aturan Applebot-Extended tidak dipertimbangkan dalam peringkat Search.
Apakah Applebot-Extended mirip Google-Extended?
Bentuknya mirip: keduanya adalah token robots.txt untuk penggunaan pelatihan AI yang tidak memengaruhi pencarian vendor, menurut deskripsi masing-masing vendor.
Bagaimana memverifikasi lalu lintas Applebot?
Apple mengidentifikasi lalu lintas Applebot melalui reverse DNS di domain applebot.apple.com, dengan forward lookup untuk konfirmasi, atau dengan mencocokkan IP dengan prefiks yang dipublikasikan Apple.
Istilah terkait
- Google-Extended
Google-Extended adalah token robots.txt yang mengatur apakah konten yang di-crawl Google boleh melatih model Gemini mendatang dan menjadi dasar jawaban Gemini, tanpa berpengaruh apa pun pada Google Search.
- robots.txt
robots.txt adalah file teks biasa di root situs web yang memberi tahu crawler jalur mana yang boleh diambil, berdasarkan Robots Exclusion Protocol (RFC 9309).
- GPTBot
GPTBot adalah crawler web OpenAI untuk mengumpulkan konten yang dapat dipakai melatih model fondasi AI generatif OpenAI.
- CCBot
CCBot adalah crawler web milik Common Crawl, organisasi nirlaba yang menerbitkan salinan web yang gratis dan terbuka, yang dipakai peneliti dan pengembang AI sebagai data pelatihan.
Contoh kasus: Tesla, jawaban AI publik, 4 Okt 2026: pemindaian pertama Proofsource untuk Tesla, 25 pertanyaan pembeli dan 5 pertanyaan merek, satu jawaban per pertanyaan di masing-masing dari empat mesin. Sampel kecil dari satu merek, ditampilkan sebagai contoh, bukan tolok ukur.
Lihat di mana AI melewatkan Anda, dan apa yang perlu diperbaiki.
Lihat pertanyaan pembeli mana yang menyebut merek Anda, siapa yang disebut sebagai gantinya, dan apa yang perlu diperbaiki. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu.
Google AI OverviewsGoogle AI Mode
