ChatGPT は誰にでも同じ回答をしますか？ いいえ。その理由はこうです。

保存された返答を参照するのではなく、確率からサンプリングして一語ずつ選んでいるからです。OpenAI の API ドキュメントには、チャット補完はデフォルトで非決定的であり、モデルの出力はリクエストごとに異なりうると書かれています。すべての設定を固定した開発者でさえ、OpenAI 側のモデル設定の変更が結果に影響しうると注意されています。

短い事実に関する回答では、言い回しは変わっても中身は変わりません。おすすめ商品のリストでは、同じサンプリングによってどの名前が選ばれ、どの順番になるかが決まるため、リストのブランドは質問するたびに変わることがあります。

ChatGPT がウェブを検索する場合は、変わりえます。検索で返ってくるページは実行場所によって異なり、OpenAI の開発者向けウェブ検索ツールは、地域に応じて結果を絞り込むために、おおよその位置情報（国、都市、地域、タイムゾーン）を受け取ります。ロンドンとシカゴの購入検討者がそれぞれ「最適な給与計算ソフト」を尋ねれば、それぞれ地元の選択肢が返ってくるかもしれず、どちらの回答も尋ねた場所にとっては正しいのです。そのため、Proofsource の有料プランでは、各質問を対象市場から尋ね、市場ごとに個別に読み取ります。

多くのブランドオーナーが思うより多いです。Proofsource 自身のサンプリングでは、エンジンの回答で言及されるブランドの9%〜27%が、エンジンによって日ごとに入れ替わります。最も変動が大きいのは Perplexity、最も小さいのは Claude です。誰も何も公開していなくても、これだけ動きます。

サンプルが小さいと、これが見えなくなります。公開している Tesla の例では、ChatGPT は購買者の質問への回答25件のうち16件で Tesla に言及しました。64%ですが、95%ウィルソン区間はおよそ45%〜80%です。別の日の25件の回答は、何も変わっていなくてもこの範囲のどこにでも入り得ます。

個人の履歴がないセッションから同じ質問を何度も尋ね、単一の結果ではなく区間付きの割合で報告します。それが Proofsource のやり方です。購買者の質問をChatGPT, Perplexity, Claude と Google AI Overviewsに尋ね、すべての回答を保存し、どのブランドが言及されたか、どのモデルが各回答を書いたかを記録し、すべての割合に95%のウィルソン区間を付けます。

区間より大きい変化だけを通知するので、静かな火曜日が危機として報告されることはありません。方法は方法論のページで説明しており、トライアルは2日間のAI可視性フル体験, 今日と明日です。

1. 自分のチャットは最も当てにならないテストです。あなたのメモリや履歴が、ChatGPT をあなたのブランドへ誘導している可能性があります。
2. 一時チャットかログアウトしたウィンドウを使うと、よりクリーンに確認できます。ブランド名を入れずに、購買者と同じように質問してください。
3. 結論を出す前に、複数回、それも複数の日に尋ねましょう。
4. 他のエンジンも確認する。Perplexity、Claude、Google AI Overviews は、同じ質問でも ChatGPT と異なる答えを出すことがあります。