画面にすでにある2つの数値をどう扱えばよいかは、誰も教えてくれない
AI可視性の数値が動きました。先週の実行では Prompts の42%であなたが言及され、今週は30%です。12ポイントです。何が壊れたのかを探しに行く前に、もっと小さな問いがあります。本当に何かが起きたのでしょうか。
公開されているアドバイスは乏しく、そのすべてが次の測定についてのものです。サンプルを増やせ、毎日ではなく毎週追跡せよ、Prompt のセットを固定せよ。もっともですが、すでに手元にある2つの測定値には役に立ちません。そこで多くの人は、ダッシュボードが手軽にしてくれることに頼り、エラーバーが重なっているかを確認します。それは間違った検定で、しかもほとんど誰も予想しない方向に間違っています。
何も変わっていないとき、2つの95%区間は99%を超える確率で重なる
Mark Payton、Matthew Greenstone、Nathaniel Schenker は、2003年に Journal of Insect Science でこれを明らかにしました。本当に同一の母集団から2つのサンプルを取り、それぞれに95%信頼区間を付けます。その区間はどれくらいの頻度で重なるでしょうか。大標本での計算では99%を超え、n=10 で10,000組を用いたシミュレーションでは0.995でした。
つまり、95%区間が重なるかを確認するのは5%の検定ではありません。1%の検定に近いのです。違いが本物であっても、それを本物と判定することはほとんどありません。
同じ論文は逆のケースも扱っています。通常の標準誤差のバーは、何も起きていないときに84.3%の確率で重なるため、それを目で見て判断するのは、誤報率がおよそ15%の検定です。6回に1回は、存在しない原因を探しに行くことになります。
補正も示されています。重なりの確認を5%の検定のように振る舞わせるには、標準誤差がほぼ等しい場合、区間の幅をおよそ83%か84%にする必要があります。n=10 では、84%区間が重なったのは94.9%で、これが求めていた5%です。
1つの下落に3つの判定、そして業界は最も静かなものを使っている
42%から30%への動きを、実際に計算してみましょう。1つのエンジンに対する200件の Prompts で、1回目は84件、2回目は60件であなたが言及されたとします。
- 95%のウィルソン区間：42%は35.4%〜48.9%、30%は24.1%〜36.7%に入ります。重なりは約1ポイント。判定は「何もなし」。
- 同じ2つの数値に標準的な2標本の比率の検定を行うと、z = 2.50、p = 0.012。判定は「本物」。
- 上の補正に従った84%のウィルソン区間：37.2%〜47.0%と25.7%〜34.7%。きれいに離れています。判定は「本物」で、今度は検定と一致します。それがこの調整の目的です。
同じ Prompts を2回実行したものは対応のある測定で、検出力の源は対応にある
3つすべての下に、もっと大きな誤りがあります。2標本の比率の検定は、実行を独立したサンプルとして扱います。実際にはそうではありません。同じ200件の Prompts を同じエンジンで再実行すれば、すべての Prompt を2回測ったことになるので、比較は Prompt ごとに行うべきです。
ほとんどの Prompt は動いていないでしょう。2回ともあなたに言及した、あるいは2回とも言及しなかった Prompt は、変化について何も教えてくれません。情報は、結果が反転した Prompts にしかありません。
30件の Prompts があなたを外し、6件があなたを挙げるようになったとします。純減は同じ24件、同じ12ポイントです。対応のある二値データの標準的な検定である McNemar 検定をその36件の反転に行うと、自由度1でカイ二乗は16.0、p はおよそ0.00006になります。同じデータで独立と見なした検定は0.012でした。対応を取ることで、Prompts 同士の違いから来るばらつきが取り除かれ、本当に問いたかったばらつきだけが残ったのです。
実行の間に Prompt のセットを変えると、この利点は失われ、どんな統計量でも取り戻せません。セットは固定し、新しい Prompts は別の系列として始めましょう。
私たちのアラートも保守的な判定を使っており、その代償はこうだ
私たちのアラートのルールには2つの条件があります。新旧のスコアのウィルソン区間が重ならないこと、そして動きが、あなたが選んだ方向で、設定したしきい値を超えることです。区間の確認が先に行われるので、バーが触れ合っていれば、しきい値が何であれ何も通知されません。
これは保守的な判定で、意図的に選んだものです。誰も信用しないアラートは、アラートがないより悪いからです。とはいえ上の数値からすれば、これはおよそ1%の検定なので、例に挙げた12ポイントの下落は黙って通過します。これは本当の代償で、あなたに見つけてもらうより、書き留めておく方を選びます。
計算の下には、もっと重要な下限があります。誰も触れていないサイトに対して同一の Prompt のセットを再実行しても、数値は動きます。エンジンは同じ回答を繰り返さないからです。OpenAI 自身のドキュメントもはっきりそう書いています。チャット補完はデフォルトで非決定的であり、seed を設定しても、システムは「決定的にサンプリングするよう最善を尽くす」ものの「決定性は保証されない」としています。私たち自身のサンプリングでは、言及される顔ぶれの9〜27%が日ごとに入れ替わるのを見てきており、どこに落ち着くかはエンジンによります。誰も何も公開していなくても、です。
だからこそ Proofsource は、再テストのレポートを実行します。変更していないサイトに対して、同じ固定の Prompts を同じエンジンで1日2回実行するものです。その上にしきい値を設定する前に、自社のノイズの大きさが分かります。これを省けば、しきい値は当て推量です。
この分析が誤っている可能性がある点
Payton らの結果は、正規母集団の平均について、標準誤差が等しく標本が大きいことを前提に導かれたものです。可視性は比率で、ウィルソン区間は0%や100%の近くで非対称になります。方向はそのまま当てはまり、95%区間の重なりは5%の検定としては保守的すぎますが、83〜84%という値は私たちのケースについての証明ではなく経験則として扱ってください。極端な値の近くでは、検定そのものを実行しましょう。
例は計算であって、測定ではありません。200件の Prompts、84件と60件、30件対6件の反転は、つじつまが合い差が見えるように私たちが選んだ数値です。あなたの数値は違うはずで、見るべきは反転の内訳です。
統計的に有意であることと「あなたが原因である」ことは別の主張で、ここで扱っているのは前者だけです。サンプリングのノイズに対して p が0.00006ということは、2回の実行の間でエンジンの挙動が変わったということを意味します。理由については何も言いません。私たちが測っている程度の入れ替わりがあれば、有意な動きでも、エンジンがひとりでに漂った結果でありえます。
9〜27%という数値は私たちのものです。私たちが抽出しているエンジンで見てきたもので、公開された定数ではなく、自社のものを測る代わりにはなりません。
