3本の新しいプレプリントが、異なる方法で評価器としてのJevを検証している。1本目は、回答の選好比較と根拠に基づく事実確認で、強力な言語モデルの判定役に近い結果を示し、信頼度を使って不確かな事例を振り分ける。2本目は、採点ルーブリックではその振り分けの利点が小さいと報告する。代替モデルがJevの確信度の高い誤りを繰り返すことが多いためだ。3本目の医療ベンチマークでは、研究要旨に関する質問で同程度の正答率を示す一方、難しい診断事例では大きな差が報告された。

実務上の結論は「AIがAIを判定できる」より限定的だ。Jevは明確に定義されたタスクの迅速な一次判定役になり得るが、あらゆる種類の回答に対して一貫して信頼できる判定役だと示す証拠はない。信頼度を使った振り分けが役立つのは、チームが自らの事例で予測性能を確かめた後に限られる。

モデルが判定役になるとは

評価器は、1つ以上のモデル出力を受け取り、何らかの規則に従ってスコアまたは判定結果を返す。判定役は、2つの回答のうちどちらが指示に沿うかを選ぶ、提示された文書が主張を裏付けるか決める、ルーブリックに照らして回答を採点する、医療の多肢選択問題から正答を選ぶ、といった仕事を担う。これらのタスクが評価器に求める能力はそれぞれ異なる。

JevはTypeSafeがホストする意思決定モデルだ。APIは構造化入力と許可された回答形式を受け取り、選択肢またはスコアを、許可されたラベルに対する確率とともに返す。このインターフェースなら、範囲の定まった結果を求めるソフトウェアにタスクを組み込める。ただし確率はモデルの推定値であり、元の回答を独立に検証するものではない。TypeSafeの資料はインターフェースを説明し、以下の研究は特定のテストセットで性能を比較している。

「JEV-as-a-Judge研究」は9月27日改訂版で、Jev 1.13と16種類の生成モデルおよび報酬モデルの判定役を比較する。「ルーブリック判定研究」は9月24日公開で、Jevと低価格の言語モデル3種を比較する。「医療ベンチマーク」は9月27日公開で、2種類の推論設定におけるJev 1.13とGPT-6 Solを比較する。いずれもプレプリントだ。臨床導入研究ではなく、査読も受けていない。

一部の判定では拮抗、推論では劣勢

最初の論文は、選好ペア、根拠に基づく事実性、最終回答の確認に関する5,172件の判定を評価し、さらに追試と2つの保留データによる振り分け研究を行った。公開された主要ベンチマークでのJevのスコアは、RewardBenchの抽出1,500組の選好ペアで92.5%、JudgeBenchの350組で78.6%、根拠と照らして評価したHaluEvalの3,000件の回答で87.3%だった。同じタスクで最も強い比較対象のGPT-6 Astraは、それぞれ92.5%、93.1%、88.4%だった。論文の計測パネルでは、Jevは基本判定1,000件あたり0.044ドル、中央値の遅延0.15秒と報告された。GPT-6 Astraは研究条件下で12.182ドル、1.89秒だった。

これらの平均値からは、著者らが見つけた適用境界が分からない。チャット品質、安全性に関する拒否、根拠に基づく事実性では、JevとGPT-6の差はおよそ2ポイント以内だった。一方、結果の導出や確認が必要なタスクでは後れを取り、数学で14.3ポイント、コードで12.9ポイント、論理パズルで27.6ポイントの差があった。JudgeBenchの客観的正確性セットでは、Jevが78.6%、GPT-6が93.1%だった。990項目の一部から異論のある事例を選び、判定を伏せて裁定したところ、JudgeBenchで異論があった69項目のうち57項目はGPT-6、1項目はJevを支持した。裁定対象は選択的かつ限定的だが、この差がベンチマークのラベルだけの問題ではなかったことを示唆する。

ここでいう「判定」とは、2つの生成回答から一方を選ぶか、明示された参照情報に基づき単独の回答が裏付けられるか、または正しいかを決めることだった。著者らは生成モデルの判定役にも、理由説明を求めず、Jevと同じ制約付きの判定と確率の形式を使わせた。したがって比較対象は、その仕様に基づく判定であり、人間に推論を説明できる判定役かどうかではない。

信頼度による振り分けは、誤りが分かれるときに機能する

カスケードでは、最初に低コストの判定役を使い、一部の事例だけを高コストの代替モデルに回す。最初の研究は、最も高いラベル確率が0.9以上ならJevの判定を採用し、それを下回る場合に次へ回した。保留された選好ペア1,610組では、2段階カスケードは31.5%を代替モデルに回し、GPT-6の92.5%に対して93.4%の正確性を示し、料金はGPT-6の41%だった。新たな正確性タスク2件から保留された570組による、事前に定めた実運用テストでは、Jev単独はGPT-6を14ポイント下回った。カスケードは74%を代替モデルに回し、料金を約4分の1節約しながらGPT-6と同等の正確性を得た。

この結果には条件がある。Jevが確信を持てない事例に誤りが含まれ、かつ代替モデルがそれを訂正できなくてはならない。文体を逆手に取るペアでは信頼度による振り分けの効果が弱まり、参照情報のない文章では失敗した。この場合、テストした判定役はどれも偶然に近い正答率だった一方、しばしば高い確信を示した。また、両方の回答順で判定を平均すると、順序による偏りが減ることも研究で分かった。しきい値は個別のラベル付き事例を使って選ばれ、論文は保留データでの検証と、信頼度下限を使う方法を推奨している。

別のルーブリック研究では、7つのベンチマークから選んだ9パネルを使い、項目と評価基準の組み合わせ5,003件における基準別採点を調べた。2パネルは二値式、7パネルは順序付き評価尺度だった。4つの判定役すべてに同じ評価基準を示し、評価前にルーブリックを固定した。27組の比較のうち8組では、正確性の差に関する95%信頼区間が差なしを含まず、複数比較の補正後も残ったのは4組だった。他の一部は論文の同等性範囲を満たしたが、多くは差または同等性を示すには精度不足だった。Jevは二値基準で他より良い結果を出した。段階評価パネルでは、一致した判定役のうちJevが最上位になることはなく、すべての判定役で人間の評価者より低い点数をつける傾向があった。

この設定では費用と速度の節約は大きかった。9パネルすべてのJev利用料は約6セントで、言語モデル判定役3種は29～325倍の費用と、30～220倍の時間を要した。それでも、Jevの確信度を使ったカスケードは強力ではなかった。多くのパネルで確信度は誤りの順位付けに役立ったが、代替モデルはJevの確信度が最も高い誤りをほぼ繰り返した。相互適合でしきい値を選んだ場合、カスケードの正確性向上は最良の単独判定役に対して平均最大1.5ポイントで、9パネル中6パネルではその判定役より悪い結果になった。この再現分析は、前向きな実運用ではなく記録済みの判定を使っている。

この2本の論文の対照は示唆的だ。回答のペア比較では、最初の研究はJevの確信度が低い誤りと、より強い代替モデルの能力との間に有効な分担を見つけた。基準別採点では代替モデルも同じ誤りをすることが多く、追加費用に見合う訂正効果はほとんどなかった。モデルの確信度だけでは、別のモデルが有益な異論を示すかどうかは分からない。

医療多肢選択問題の結果は難易度で変わる

医療論文は既存の4データセットでJevを評価した。MetaMedQAの試験問題1,373問、研究要旨から回答するPubMedQAの500問、DiagnosisArenaの多肢選択ケース915問、公開された最終診断を含むNEJM Case Challengesの34症例である。JevとGPT-6 Solを、中程度の推論を行う設定と推論なしの設定で比較した。モデルへのリクエストは8,469件で、すべて構造化された有効な回答を返した。

PubMedQAではJevと、中程度の推論を使うGPT-6 Solの正答率は78.4%と78.2%だった。MetaMedQAではJevが74.8%、GPT-6 Solが82.7%。DiagnosisArenaでは59.8%対82.4%、NEJMの34症例では61.8%対82.4%だった。推論なしのGPT-6も、難しい2つの症例セットで高い点推定値を示した。NEJMの34症例に関する推定は不精確で、複数比較の補正後、主要比較の統計的有意性は維持されなかった。DiagnosisArenaのより大きな差は、明示的な推論を行わない場合にも残った。

これは提示された選択肢から答えを選ぶテストであり、鑑別診断を作成したり患者を治療したりするものではない。論文はベンチマークの回答を臨床医が裁定した結果を報告していない。NEJMの画像はモデルにキャプションとして提示され、難易度の高いDiagnosisArenaの事例は他の言語モデルを基準に絞り込まれたと記している。著者らは結果を予備的とし、独立した再現、参照回答の臨床的裁定、実行ごとの安定性確認は未完了だと述べる。臨床ケアの指針として結果を使わないよう、論文は明記している。

確率のしきい値が有効な度合いにはばらつきがあった。MetaMedQAではJevの回答の52.9%が確信度0.9以上で、その回答の正確性は93.4%だった。同程度のカバー率で、GPT-6の正確性は同等かそれ以上だった。DiagnosisArenaではJevの確率による順位付けは弱く、同じ0.9のしきい値で採用された項目は17.3%にすぎず、採用された回答の4分の1は依然として誤りだった。すべてのベンチマークで、選択肢に割り当てられたモデルの平均確率は実際の正答率を上回った。このサンプルでは高いスコアも確実性を意味しなかった。

この研究からチームが学べること

総合すると、文書中の記述や根拠との照合で判定できるタスクを中心に、Jevをタスク別の評価器として検証することは支持される。一方、その信頼度フィールドを万能な安全スイッチとして扱う根拠にはならない。ワークロードごとに結果は異なり、ルーブリック研究は、代替モデルを生の正確性だけでなく、誤りの独立性についても評価する必要を示している。

この方式を検討するチームは、自らのタスクから代表性のあるラベル付きサンプルを用意する必要がある。正しい判定の定義を決め、難しい例や誤解を招く例を含め、人間による確認または妥当な別の参照基準と比較する。そのうえで、誤り率と、正解・不正解を信頼度がどの程度区別するかを測る。カスケードでは、代替モデルが第1段階の誤りを実際に訂正したか、何件がエスカレーションされたか、その結果の費用と遅延も記録する。しきい値の選定に使った例以外にも適用できるかは、別に確保したテストセットで確かめられる。

これらは論文から得られる実務上の示唆であり、BIG CHANGEがテストした手順ではない。当社はJev APIを呼び出しておらず、ローカルベンチマークも実行していない。TypeSafeのAPIドキュメントは構造化リクエスト、許可される回答形式、モデル検索を説明するが、各チームのワークロードにおける正確性を独立に証明するものではない。製品の提供状況、料金、モデルは変わる可能性があるため、試験を計画する際は最新の資料を確認する必要がある。

現時点でJevは、タスクが限定され、ラベルが明確で、ローカル評価により信頼度が効果的に誤りを振り分けると確認された場合の、候補となる一次判定役に見える。深い推論が必要な判定、評価者に見えない慣例に左右される採点、複数モデルが同じ誤りをする場面では、研究結果を踏まえ、人間による確認または別の検証済みチェックを組み合わせる理由がある。

大きな変化

Jevの新しい評価は、低コストの判定を返せるかという問いを、その判定をいつ採用するだけの価値があるかという問いへと進める。その答えはタスクによって異なる。保留データによるペア評価では信頼度を使ったカスケードが改善した一方、別のルーブリック研究では誤りの重複により利点がほとんどなかった。医療の多肢選択問題でも、難易度によって結果が大きく異なった。AIチームにとって次の一手は、正確性、信頼度、代替モデルの挙動を一緒に確かめるローカル検証セットを作ることだ。

出典・参考資料