AIの回答のサンプリングとは?

エンジンが決定的ではないからです。OpenAIのドキュメントには、Chat Completionsは既定では非決定的であり、リクエストごとに出力が異なる場合があると明記されています(OpenAI APIドキュメント、2026年10月15日に確認)。

温度をゼロにしても、同じPromptの回答はぶれます。Thinking Machines Labは、オープンなモデルで1つのPromptを温度ゼロで1,000回生成し、80通りの異なる出力を得ました。主な原因は、サーバーの負荷によって各リクエストが入るバッチのサイズが変わることだと突き止めています(2025年9月10日、Thinking Machines)。1つの回答の中身の一部は、サーバーがどれだけ混んでいたかで決まるのです。

結果を見る前に方法を決め、毎期同じ方法を使いましょう:

• すべてのエンジンで、同じ質問を同じ言葉で。そうすればエンジン間の差は本当の違いになります。
• あなたの名前を含まない質問を使い、ブランドの質問は別のセットにします。
• 一度にまとめて実行せず、日を分けて実行します。回答は負荷やモデルの更新でぶれるからです。
• 以前の回答をそのまま繰り返したものは除外します。再生は2回目の抽出ではありません。
• AI Overviewが表示されなかった場合など、回答のないケースは言及漏れとして数えず、除外します。

Proofsourceのプランは毎日または毎週実行されます。毎日のプランでは、追跡中の各質問をUTCの1日ごとに各エンジンへ1回尋ね、すべての率にウィルソン区間を付けるため、変化はノイズを超えて初めて数えられます。スキャンの実行頻度とPromptsをご覧ください。