Lacak perubahannya dan buktikan apa yang menggerakkannya.
Sebuah perbaikan berarti saat jawaban bergerak lebih dari gangguannya. Bab ini membahas cara mengukur ulang secara adil, cara membedakan perubahan nyata dari fluktuasi, berapa lama perbaikan membutuhkan waktu, dan rencana empat minggu yang menutup panduan ini.
Bab 6 dari 6 dalam panduan visibilitas AI
Apa yang membuat perbandingan sebelum dan sesudah menjadi adil?
Ukur hal yang sama dua kali: pertanyaan yang sama, di mesin yang sama, dengan frekuensi yang sama, terhadap daftar pesaing tetap yang sama (Bab 3). Mengubah set pertanyaan di antara putaran berarti membandingkan dua sampel yang berbeda. Mulailah pertanyaan baru sebagai seri tersendiri.
Lalu bandingkan putaran per pertanyaan. Memeriksa apakah dua interval 95% tumpang tindih jauh lebih ketat daripada kelihatannya: Payton, Greenstone, dan Schenker menunjukkan pada 2003 bahwa dua interval dari populasi yang identik tumpang tindih lebih dari 99% waktu, sehingga pengecekan tumpang tindih berperilaku seperti uji 1% dan melewatkan penurunan yang nyata. Penurunan dari 42% ke 30% pada 200 pertanyaan memiliki interval 95% yang tumpang tindih, tetapi uji dua proporsi standar memberikan p = 0,012. Jika 30 pertanyaan berhenti menyebut Anda dan 6 mulai menyebut Anda, uji berpasangan McNemar atas perpindahan tersebut memberikan p sekitar 0,00006 (contoh perhitungannya).
Seberapa sering dua interval 95% tumpang tindih saat tidak ada yang berubah, yang membuat tumpang tindih menjadi uji perubahan yang lemah.
Payton, Greenstone, dan Schenker, 2003Perubahan pada satu jawaban yang berbalik keesokan harinya, di 40 pertanyaan pembeli pada empat mesin.
5 sampai 13 Okt 2026Jawaban ChatGPT dalam satu audit yang sama sekali tidak menjalankan pencarian web, sehingga halaman terbaru tidak bisa masuk.
Audit 26 Sep 2026Apakah penurunan itu nyata, atau hanya fluktuasi?
Tunggu sampai bertahan. Dalam pelacakan harian kami, 47% perubahan pada satu jawaban berbalik keesokan harinya, dan dari perubahan yang bisa kami ikuti dua hari lagi, hanya 36,7% yang bertahan ketiga harinya. Seorang pesaing yang dilacak tercatat 75% pada hari Senin dan 45% pada hari Jumat minggu yang sama, terlihat seperti anjlok 30 poin; di sepanjang minggu ia disebut dalam 89 dari 140 jawaban, 63,6%, dan tidak ada yang turun (studi frekuensi).
Tindak lanjuti perubahan saat bertahan dua atau tiga hari, atau saat interval dari dua pengukuran terpisah. Peringatan yang berbunyi setiap kali angka melewati suatu garis akan terus berbunyi pada angka yang segaduh ini.
Berapa lama sampai perbaikan terlihat?
Tergantung sisi jawaban mana yang Anda ubah. Mesin yang mencari web secara langsung, seperti Perplexity, ChatGPT search, dan Google AI Overviews, bisa mencerminkan perubahan dalam beberapa hari setelah crawl ulang; Google menyatakan crawl ulang bisa memakan waktu beberapa hari hingga beberapa minggu. Jawaban yang dibangun dari pelatihan model tidak berubah sampai model baru dirilis, yang bisa memakan waktu berbulan-bulan, dan tidak ada vendor yang mempublikasikan jadwalnya.
Jadi sebelum menilai pekerjaan satu bulan, periksa apakah jawaban yang Anda baca memang melakukan pencarian. Audit atas putaran ChatGPT kami sendiri menemukan 409 dari 481 jawaban tidak menjalankan pencarian web, sehingga tidak ada yang dipublikasikan seminggu sebelumnya yang bisa muncul (30 hari pertama).
Seperti apa rencana empat minggu?
- Minggu 1, baseline. Pilih pertanyaan, ajukan ke setiap mesin, catat siapa yang disebut dan apa yang dikutip (Bab 2). Jalankan dua kali, berselang satu hari.
- Minggu 2, akses. Periksa setiap bot terhadap halaman yang penting, dan perbaiki pemblokiran CDN serta konten yang hanya tampil dengan JavaScript (Bab 4).
- Minggu 3, identitas dan sumber. Pasang definisi satu kalimat Anda di mana-mana, dan hubungi lima halaman paling banyak dikutip yang tidak mencantumkan Anda (Bab 5).
- Minggu 4, ukur ulang. Pertanyaan yang sama, mesin yang sama. Lanjutkan yang bergerak melampaui interval; tinjau ulang yang tidak bergerak.
Bagaimana Anda menunjukkan perubahan kepada orang lain?
- Laporkan per mesin, dengan setiap tingkat disertai intervalnya dan jumlah jawaban di baliknya.
- Tautkan setiap angka ke jawaban yang dihitung, sehingga siapa pun dapat membaca apa yang sebenarnya dikatakan mesin.
- Tunjukkan apa yang Anda ubah dan kapan, di samping tanggal jawaban bergerak.
- Laporkan juga pertanyaan yang tidak bergerak. Laporan yang hanya berisi keberhasilan bukanlah bukti.
Lihat melihat jawaban AI di balik visibilitas Anda dan pemantauan visibilitas AI harian.
Lanjutkan membaca
Setiap bab
Bacaan terkait
- Payton, Greenstone and Schenker: Overlapping confidence intervals or standard error intervals, Journal of Insect Science 3:34 (2003) pmc.ncbi.nlm.nih.gov/articles/PMC524673/
- NIST: McNemar test, Dataplot reference manual www.itl.nist.gov/div898/software/dataplot/refman1/auxillar/mcnemar.htm
- Google Search Central: Ask Google to recrawl your URLs developers.google.com/search/docs/crawling-indexing/ask-google-to-recrawl
- OpenAI Help Center: Searching the web with ChatGPT help.openai.com/en/articles/9237897-searching-the-web-with-chatgpt
Angka Proofsource menautkan ke tulisan atau studi yang mengukurnya, lengkap dengan tanggal dan metodenya. Beri tahu kami jika ada yang sudah usang di sini.
Temukan di mana AI melewatkan Anda. Lalu perbaiki.
Lihat pertanyaan pembeli mana yang menyebut merek Anda, siapa yang disebut sebagai gantinya, dan apa yang perlu diperbaiki. 200 jawaban. 25 Prompts/pertanyaan. Mesin AI teratas. 2 hari. Gratis. Tanpa kartu.
Google AI OverviewsGoogle AI Mode
