一晩で回答から消えた名前は、約5つに1つ
スキャン頻度についてのアドバイスの多くは毎週を勧め、毎日の測定値はノイズが多いと説明しています。私たちは、そのノイズがどれほどかを確かめたいと考えました。2026年10月5日から13日にかけて、Proofsource の2つのブランド設定で、それぞれ同じ20件、合計40件の購買者の質問を、ChatGPT、Perplexity、Claude、Google AI Overviews に1日1回尋ねました。一方は9日間、もう一方は7日間です。各設定は自社ブランドと8〜9社の競合を追跡しており、名前は合計19です。
これにより、1つの質問、1つのエンジン、1つの名前について、連続する2日を比較できるケースが10,612件得られました。そのうち2,127件では、初日の回答にその名前がありました。そのうち486件、22.8%では、翌日に消えていました（95%区間は21.1%〜24.7%）。新たに現れたブランドもあり、全体では10,612組の連日のうち969組が変化していました。
53のワークスペースにまたがる、より広い確認でも同じ割合でした。同じエンジンが連続する2日に答えた5,024件の質問のうち、初日にワークスペース自身のブランドに言及したのは427件で、そのうち102件（23.9%）は2日目に言及しませんでした。別の87件は2日目にだけ言及したため、合計は427件から412件になりました。水面下では大量の入れ替わりがあっても、表面上はほとんど変化がないのです。
変化の47%は、1日後に自然に元に戻った
そうした変化のうち832件については、さらに翌日の回答もありました。そのうち393件、47.2%では、名前が元の状態に戻っていました。あり、なし、またありか、その逆です。さらに2日間追跡できた変化（686件）のうち、3日間すべてで維持されたのは252件、36.7%でした。
つまり、ある回答が一晩であなたに言及しなくなっても、翌日また言及する確率は五分五分に近いのです。1つの回答の変化は分布からの1回の抽出として扱い、その変化が続くのを待ってから対応しましょう。
1日の値は、週の平均から3.6ポイント以内に収まった
集計で見ると、話はずっと落ち着いています。両方の設定に共通する7日間（10月5日〜11日）について、週の言及率が5%以上の名前とエンジンの組み合わせ55件すべてを取り出し、各日の割合（20件の回答）をその週の平均と比べました。差の中央値は3.6パーセントポイントでした。385件の日次の測定値のうち、10ポイント以上離れていたのは27件（7.0%）、15ポイント以上は4件で、最大の差は20ポイントでした。
この差がコイン投げで期待されるより小さいのは、同じ質問が毎日戻ってきて、その回答の大部分が変わらないからです。入れ替わりは、固定したセット全体ではほぼ相殺されます。
とはいえ、悪い週は実在します。ChatGPT で追跡していたある競合は、5日（月）には回答の75%で言及され、9日（金）には45%でした。この2日だけを読めば、30ポイントの下落に見えます。週全体では140件中89件、63.6%（55.3%〜71.1%）で言及されており、何も下落していませんでした。20件の回答で45%という値の区間は25.8%〜65.8%で、1日の値はこう読むのが誠実です。
頻度は、その数値が支える判断で選ぶ
毎日のスキャンは、毎週のスキャンの7倍の回答を集め、実行コストもおよそ7倍です。それで何が得られるかは、その数値で何をするかによります。
- 大きな固定の質問セットで経営陣に推移を報告する：通常は毎週で十分です。20件の質問セットでも、ほとんどの日の値は週の平均から数ポイント以内に収まり、セットが大きければさらに近づきます。
- 追跡する質問が20件以下：各測定値が小さいため、1日の異常が大きく響きます。毎日スキャンして週で平均すれば、測定値は1つではなく7つになり、区間はおよそ2.6分の1に狭まります。
- 公開したばかりの変更を検証する：毎日なら、回答がどの日に動いたか、その動きが続いたかが分かります。毎週では、公開翌週の無関係な揺らぎが紛れ込むことがあります。
- どの場合でも、1つの回答の反転で動かないでください。変化が2〜3日続くか、2つの測定値の区間が離れるのを待ちましょう。
Proofsource での扱い方
Proofsource のプランは、プランごとに毎日か毎週を選べます。毎日のプランでは、各質問を各エンジンで UTC の1日に1回尋ね、毎週のプランでは週に1回実行します。すべての言及率にはウィルソン区間が付き、アラートは2つの測定値の区間が重ならず、かつ動きが設定したしきい値を超えたときだけ発出されるので、1日の揺らぎで誰かが呼び出されることはありません。このルールは保守的なため、小さな実際の変化を数日見送ることがあります。
この分析が誤っている可能性がある点
長期の系列は、2つのカテゴリの2つのブランド設定、40件の質問、2026年10月の1週間から得たもので、週と比較できるほど頻繁に登場した名前は55件だけでした。ほかのカテゴリや、モデルのアップデートがあった週では、入れ替わりはもっと大きいかもしれません。53のワークスペースでの確認は、質問ごとに連続する2日分だけです。
ここでの「変化」とは、私たちの抽出が読み取った、追跡対象の名前が現れたかどうかを意味します。ある日に抽出が取りこぼすと入れ替わりのように見えるため、22.8%の一部はエンジンではなく私たちに起因するかもしれません。各質問はエンジンごとに1日1回として数え、日をまたいでバイト単位で同一だった回答の組116組は除外しました。それらは新しい回答ではなく再生だったからです。
同じ質問への回答は日ごとに関連しており、だからこそ週全体はほとんど動きませんでした。質問が毎日変わるブランドや、毎週新しいセットを抽出するブランドでは、より大きな振れが見られるでしょう。
