どのガイドも新しいチャットで始めよと言い、そのうえで5ターンの購買者を描く
アンサーエンジンが自社ブランドを挙げるかを確かめる標準的な方法は、購買者の質問のセットを書き、それぞれを前提のない新しいチャットで実行し、誰が言及されたかを記録することです。私たちもそうしており、それには正当な理由があります。すでに自社ブランドへ誘導したチャットが教えてくれるのは、温まったモデルが言うことであって、何も知らない購買者が目にするものではないからです。
次に、同じガイドが購買者は何をしていると言っているかを読んでください。ベンダーを選ぶ人は、何を見るべきかを尋ね、条件を伝え、比較を求め、どこで買えるかを尋ねます。Google はそれを製品の要点として扱っており、AI Mode のヘルプページには、何でも尋ねて回答を得られ、追加の質問でさらに深掘りできると書かれています。これらのエンジンが前提としているやり取りは、複数のターンにわたります。しかし、あらゆるAI可視性レポートのあらゆる数値は、1ターン目の数値です。
200,000件の会話の実験は、低下が2ターン目で始まることを示した
これを大規模に統制して測定したものが1つあります。Microsoft Research の Philippe Laban と Jennifer Neville、Salesforce Research の Hiroaki Hayashi と Yingbo Zhou が、2025年5月9日に公開しました。6つの生成タスクにわたる600件の完全に指定された指示を取り、それぞれを断片に分け、シミュレートされたユーザーが1ターンに最大1つの断片を明かすようにしました。15のモデルで、200,000件を超えるシミュレート会話です。
1つのメッセージで指示全体を渡されたときに約90%のスコアを出したモデルは、同じ情報が複数のターンにわたって届くと約65%になりました。モデルとタスクで平均すると低下は39%で、すべてのモデルがすべてのタスクで低下していました。
指示を分けるだけで、書き換えの際に情報が失われることもありえます。彼らはそれを統制しました。同じ断片を1つの箇条書きに戻してつなげると、元のスコアの95.1%でした。書き換えのコストはゼロで、コストのすべてはターンにあったのです。分割の細かさを2つから8つまで変えると、損失は2つの時点で現れ、その後は横ばいでした。
モデルの能力が落ちたのではない。再現性が落ちたのだ
誰かに割合を報告するなら、ここが重要な部分です。論文は性能を、繰り返し実行したときの90パーセンタイルのスコアである「適性」と、90パーセンタイルと10パーセンタイルの差である「不安定さ」に分けています。マルチターンでの適性は約16%下がり、不安定さは112%上がりました。マルチターンの最良の実行はシングルターンの最良の実行とほぼ同じで、最悪の実行ははるかに悪く、固定した指示でのばらつきは平均で約50ポイントでした。
よくある対策はどちらも役に立ちませんでした。o3 と DeepSeek R1 もほかと同様に迷い、著者らはその原因を長さに求めています。推論モデルは約33%長い回答を書き、自分自身の思い込みをより多く後に持ち越していたのです。温度を下げると、シングルターンの設定では不安定さが50〜80%減りましたが、マルチターンの設定では役に立たず、ゼロに固定しても約30%のままでした。
これを可視性レポートと照らし合わせてください。1ターン目で1回読んだ候補リストは、すでにノイズの多いプロセスの1つのサンプルです。だから私たちはすべての割合の横に区間を公開しています。3ターン目で1回読んだ候補リストは、ばらつきが2倍のプロセスの1つのサンプルです。
1ターン目の候補リストは、2ターン目への入力になる
OpenAI はその仕組みを文書化しています。各リクエストは独立していて状態を持たず、マルチターンの会話は、以前のメッセージを新しいメッセージとともに送り直すことで成り立っています。OpenAI によると、ID でレスポンスをつなげた場合でも、以前の入力トークンはすべて再び入力トークンとして課金されます。履歴は記憶されるのではなく再送されるのであり、そこにはアシスタント自身の以前の回答も含まれます。
つまり購買者が追加で質問すると、モデルは1ターン目の自分の候補リストを入力の一部として読みます。Laban らは、以前の回答への過度の依存を、この現象の4つの原因の1つに挙げています。このことは、私たちにはまだ証明できないことを示唆しています。1ターン目では枠を争い、2ターン目ではモデルがすでに書いたリストと争うのです。ブランドの候補リストでそれを測定した人はいません。それが、私たちが賭けたい読み方です。
私たちが測っているもの、そして誰も持っていない数値
Proofsource は、構造上シングルターンで抽出します。各 Prompt を繰り返し尋ね、可視性を点ではなくウィルソン区間で採点し、同じ質問を2日続けて尋ねる再テストのレポートを実行します。そのどれも、追加の質問を追加の質問として抽出してはいません。私たちを含め、それを行っているツールは知りません。持っていない範囲を持っているかのようにほのめかすより、そう書き留める方を選びます。
示せるのは、隣接する効果です。質問を変えると、言及される顔ぶれが変わります。ビジネスソフトウェアのカテゴリの1ブランドについての完全なレポートでは、カテゴリの質問で14のベンダーが返り、そのブランドは含まれていませんでした。名指しで尋ねると、同じエンジンはそのブランドをカテゴリの主要なプラットフォームの1つと呼び、星4〜5の評価を付けました。その1つの商用の質問の16通りの言い回しで、6社の競合が11回以上登場し、そのブランドは多くても2回でした。これは1ブランド、1エンジンでの私たちのデータで、ターンではなく言い回しの結果です。
- 追加の質問は、それ自体を独立した Prompt として書きましょう。「最適なプロジェクト管理ツール」と「予算ゼロで12人のチームに最適なプロジェクト管理ツール」は、1つではなく2つの Prompts です。
- 条件は最初のメッセージに入れましょう。それが論文のユーザーへのアドバイスであり、来月と比べられる測定値を得る唯一の方法です。
- 3ターンの会話のスクリーンショットを、どちらの方向の証拠としても扱うのはやめましょう。それは、これまで測定された中で最も再現性の低い設定での1回の実行にすぎません。
この分析が誤っている可能性がある点
最大の溝は、当てはまるかどうかです。6つのタスクは、Python の関数、SQL のクエリ、API の呼び出し、小学校レベルの算数、表のキャプション、クエリに焦点を当てた要約です。どれも「ベンダーを推薦する」ではありません。論文が示しているのは、モデルが複数のターンにわたって届く要件を見失い、そのときに再現性がはるかに下がるということです。ブランドの候補リストが同じように振る舞うことは示していません。私たちはそうだと考えていますが、測定はしていません。
ユーザーは人ではなく小さなモデルでシミュレートされており、タスクは英語、テキストのみ、分析的なものです。著者らはそのすべてを挙げ、自分たちの条件は穏やかなものなので、実際の低下はおそらくもっと大きいと論じています。これは方向を裏付けますが、大きさについては信頼できることを何も言いません。また、これらは2025年のモデルで、私たちが追跡する4つのエンジンのどれも、独自のマルチターンの信頼性の数値を公開していません。
16通りの言い回しの数値は、1ブランド、1カテゴリ、1エンジン、1つのレポートです。質問がリストを決めることを示していますが、ターンの測定ではありません。また、実際の購買の会話がどれくらいの頻度で1ターンを超えるかの数値もありません。Google が追加の質問を AI Mode の要点と呼んでいるのは設計上の表明であって、頻度ではありません。
私たちが擁護できるのは狭いことで、私たちにとっても少し気まずいことです。このカテゴリのすべての製品が報告しているのは1ターン目で、誰もが話題にしているのは会話です。そして今のところ、その差を測っている人は誰もいません。
