Apa itu Google-Extended?
Google-Extended adalah token robots.txt yang mengatur apakah konten yang di-crawl Google boleh melatih model Gemini mendatang dan menjadi dasar jawaban Gemini, tanpa berpengaruh apa pun pada Google Search. Google-Extended adalah baris robots.txt yang paling sering disalahpahami. Token ini mengatur pelatihan dan grounding Gemini di luar Search. Token ini tidak mengatur AI Overviews atau AI Mode, yang merupakan bagian dari Google Search.
Apa yang diatur Google-Extended?
Token ini mengatur apakah konten yang di-crawl Google dari situs Anda boleh dipakai untuk melatih model Gemini mendatang yang menjalankan Gemini Apps dan Vertex AI API untuk Gemini, serta untuk grounding di Gemini Apps dan Grounding with Google Search di Vertex AI (dokumentasi crawler Google, diperbarui 14 Juli 2026).
Google menggambarkan grounding di sana sebagai penyediaan konten dari indeks Google Search ke model pada saat prompt untuk meningkatkan faktualitas dan relevansi.
Apakah memblokir Google-Extended memengaruhi Google Search atau AI Overviews?
Tidak. Google menyatakan bahwa Google-Extended tidak memengaruhi penyertaan situs di Google Search dan tidak digunakan sebagai sinyal peringkat di Google Search.
AI Overviews dan AI Mode adalah fitur Search: halaman harus terindeks dan memenuhi syarat untuk ditampilkan dengan snippet agar muncul di sana, dan kontrol yang membatasinya adalah nosnippet, data-nosnippet, max-snippet, dan noindex (Google Search Central, dibaca 15 Okt 2026). Kontrol itu juga membatasi tampilan halaman di hasil biasa.
Bagaimana cara memakai Google-Extended?
Tambahkan grup untuknya di robots.txt. Google-Extended tidak memiliki string user-agent HTTP tersendiri: Google melakukan crawl dengan user agent yang sudah ada, dan token ini hanya dibaca sebagai kontrol, jadi Anda tidak akan melihatnya di log Anda.
# Jauhkan konten dari pelatihan dan grounding Gemini
User-agent: Google-Extended
Disallow: /
# Google Search, termasuk AI Overviews dan AI Mode, tidak terpengaruh
User-agent: Googlebot
Allow: /Apa artinya dalam contoh nyata?
Dalam contoh Tesla publik (4 Okt 2026), Google AI Overviews menyebut Tesla dalam 16 dari 25 jawaban atas pertanyaan pembeli dan mengutip youtube.com 20 kali, reddit.com 15 kali, dan tesla.com sekali.
Aturan Google-Extended di situs mana pun dari situs-situs itu tidak akan mengubah kumpulan jawaban tersebut, karena AI Overviews dibangun di atas Search. Pengungkitnya di sana adalah pengindeksan, kelayakan snippet, dan menjadi halaman yang menjawab pertanyaan.
Bagaimana memeriksa pengaturan Google-Extended Anda?
Baca robots.txt aktif Anda untuk grup Google-Extended, di setiap host, dan pastikan tidak ada kontrol snippet yang tidak sengaja ditambahkan di halaman yang Anda inginkan muncul di AI Overviews. Pemeriksa crawler AI gratis membaca robots.txt aktif Anda untuk Google-Extended dan agen AI lainnya, dan Akses crawler di Proofsource memeriksanya dari waktu ke waktu.
Pertanyaan umum tentang Google-Extended
Apakah memblokir Google-Extended akan merusak peringkat saya?
Tidak. Google menyatakan token ini tidak digunakan sebagai sinyal peringkat dan tidak memengaruhi penyertaan di Google Search.
Bagaimana cara keluar dari AI Overviews?
Hanya dengan kontrol snippet atau noindex, yang juga membatasi hasil biasa. Tidak ada opsi keluar khusus AI Overviews, dan Google-Extended bukan opsi itu.
Mengapa saya tidak melihat Google-Extended di log server saya?
Token ini tidak memiliki string user-agent sendiri. Google melakukan crawl dengan user agent yang sudah ada dan hanya membaca Google-Extended sebagai kontrol robots.txt.
Apakah Google-Extended mencakup jawaban Gemini?
Menurut deskripsi Google, token ini mencakup pelatihan model Gemini mendatang dan grounding di Gemini Apps dan Vertex AI. Periksa dokumentasi crawler Google untuk cakupan terkini.
Istilah terkait
- Google AI Overviews
Google AI Overviews adalah ringkasan tulisan AI yang ditampilkan Google di atas sebagian hasil pencarian, dengan tautan ke halaman yang menjadi sumbernya.
- Google AI Mode
AI Mode adalah pengalaman pencarian AI percakapan dari Google, tempat sebuah pertanyaan mendapat jawaban tertulis dengan tautan dan bisa dilanjutkan dengan pertanyaan lain.
- robots.txt
robots.txt adalah file teks biasa di root situs web yang memberi tahu crawler jalur mana yang boleh diambil, berdasarkan Robots Exclusion Protocol (RFC 9309).
- Grounding
Grounding adalah mengaitkan jawaban model AI dengan sumber luar, seperti hasil pencarian langsung, agar klaimnya bertumpu pada konten yang diambil, bukan hanya pada ingatan.
Contoh kasus: Tesla, jawaban AI publik, 4 Okt 2026: pemindaian pertama Proofsource untuk Tesla, 25 pertanyaan pembeli dan 5 pertanyaan merek, satu jawaban per pertanyaan di masing-masing dari empat mesin. Sampel kecil dari satu merek, ditampilkan sebagai contoh, bukan tolok ukur.
Lihat di mana AI melewatkan Anda, dan apa yang perlu diperbaiki.
Lihat pertanyaan pembeli mana yang menyebut merek Anda, siapa yang disebut sebagai gantinya, dan apa yang perlu diperbaiki. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu.
Google AI OverviewsGoogle AI Mode
