研究者らは、FLAREというシミュレーションベンチマークを構築した。言語モデルのエージェントが、範囲は狭いものの重要な電力網の課題、すなわち故障箇所がすでに切り離された後に、どのように送電を復旧するかを選ぶ課題にどう対処するかを検証する。エージェントは不完全な報告を受け取り、追加情報を求めたり、開閉操作を提案したりできる。別の物理ベースの保護機構が、提案された連系開閉器の投入がシミュレーション上の電力網で安全かどうかを判断する。

この10月16日付のプレプリントは、5つの観測条件にわたる800の物理ケースと、各評価を合わせて78,750回のモデル実行エピソードを報告している。復旧判断と、その失敗の仕方を調べる方法を提供するものだ。電力会社による現場試験や、実際のサービスが改善したという測定結果は報告していない。

大きな変化

  • 何が変わったか： FLAREは回答だけを採点するのではなく、エージェントの情報収集や開閉操作の選択を、シミュレーション上の電気的な結果に結び付ける。著者らは、明確で正確な報告に基づく判断と、限られた報告や誤った報告に基づく判断を比較できる。
  • なぜ重要か： 電力網の研究者は、エージェントがどこで時間を失うか、どこで危険な開閉操作を提案するかを調べられる。その一方で、操作を実行するかどうかは別の物理的な確認が決める。論文で却下された行動は、もっともらしい計画が自らの安全承認まで兼ねることはできない理由を示している。
  • 今後の注目点： 著者らは、電力会社のデータ、人間の運転員を対象とする研究、より完全な電気的検証を今後の課題に挙げる。そうした確認によって、このベンチマークが故障箇所の切り離し後を扱うシミュレーション課題を超え、意思決定支援にどこまで役立つかが決まる。

エージェントが実際に行うこと

FLAREが対象とするのは故障箇所の切り離し後であり、この時点では配電フィーダーの一部がまだ停電している。各ケースで、エージェントは監視報告、顧客からの電話情報、故障表示器の読み取り値を求めたり、点検や開閉器の試験を依頼したり、提案した操作をシミュレーションしたり、区分開閉器を開いたり、連系開閉器を投入したり、終了したりできる。連系開閉器は停電地域を別のフィーダーにつなげられるが、需要の増加で設備が過負荷になる可能性がある。シミュレーション課題の時間範囲は240分で、ツール呼び出しと開閉操作の回数にも制限がある。詳しくはベンチマークの実施手順を参照。

著者らはCIGREとSimBenchのフィーダー網を、ドイツの中電圧系統で測定された運転時系列データと組み合わせる。故障、切り離し、開閉操作の結果をシミュレーションする。主要な800の物理ケースには、それぞれ実行可能な参照復旧計画がある。同じケースの5つの版は、基礎となる電力網と故障を変えず、エージェントが見る情報を変える。条件は、正確、疎、ノイズあり、古い情報、そして「矛盾」と名付けられた複合条件だ。最後の条件では監視範囲も狭まり、複数の誤り率も上がるため、結果から矛盾する報告だけの影響を分離することはできない。論文の付録によると、古いSCADAデータの経過時間は現在の状態の読み取り値に付けたラベルであり、過去の物理状態を再生したものではない。

平均値は難しいケースを隠す

研究者らは、同じ課題インターフェースと決定論的デコーディングを使い、指示に従うよう調整された5つのモデルを評価した。評価指標の正規化リグレットは、各エピソードの重み付き停電コストを、その物理ケースに対して見つかった最良の実行可能な参照計画と、何もしない場合に比べる。ゼロなら参照コストと同じで、1なら何もしない場合より良くない。コストには顧客が停電している時間が含まれ、顧客区分にも重みが付くため、最終的に復旧した顧客の割合だけでは結果全体を表せない。

主要な観測条件全体について、論文の表2は平均リグレットがQwen 2.5-7Bの0.082からQwen 2.5-3Bの0.148までだったと報告する。すべてのモデルで中央値はゼロであり、少なくとも半分のエピソードが参照コストと同じだったことを意味する。しかし、95パーセンタイルのリグレットは0.814から1.000に及ぶ。したがって平均値の背後には、シミュレーション上の停電を復旧せずに放置するコストに近い結果となった少数のエピソードが隠れている。これらはベンチマークのスコアであり、実際の顧客停電を測った結果ではない。

この比較では、モデルのパラメーター数が多くても一貫した利点はなかった。Qwen 2.5-7Bは、試験されたQwen 2.5-14Bおよび4ビットのMistral Small 24B構成より、平均と95パーセンタイルのリグレットが良好だった。論文は、ノイズのある観測条件では、理想化された従来型FLISRの参照手法が0.054、貪欲法が0.060で、その条件で最良の言語モデルは0.089だったとも報告する。これらの参照手法にはベンチマーク共通の時間条件と採点方法が適用された。この結果は実運用システムの一般的な順位を確立するものではない。

モデルが実行すべきでない提案を保護機構が検出

提案された連系開閉器の投入がシミュレーション上の電力網を変える前に、FLAREは物理状態の試験用コピーで、電力網のトポロジー制約に違反しないか、切り離された故障箇所を再び通電しないか、交流潮流の制限を満たせないかを確認する。この確認にはエージェントに渡されていない情報を使う。却下された提案も時間は消費するが、電力網は変えない。

その後、研究者らは保護機構が却下した15,706件の行動を、複製した電力網状態で再実行した。そのうち15,142件、96.4%は物理的制約への違反を引き起こしていたはずだと報告する。却下された8,165件では熱的過負荷が生じ、違反の分類は重複を許した。エピソードで実際に適用された行動による重大な故障がなかったのは、保護機構の介入を反映する。モデルが独力で安全な行動を選んだことを示すわけではない。

研究者にとって有用なのは、エージェントが提案した計画の質と、危険な提案の実行を防ぐ独立した確認を区別することだ。FLAREは両方を可視化する。平衡正相分による潮流計算は、三相や短絡の検証を標準では提供せず、著者らは電力会社のデータと人間の運転員を対象とする研究を求めている。この研究が評価するのは切り離し後の復旧シミュレーションであり、自律的な電力会社の制御装置や、実際の復旧時間の実証済みの変化ではない。

出典と参考資料

  • FLARE：観測品質が低下した環境でフィーダーを復旧する言語モデルエージェントの物理ベース評価。BHVSP Subrahmanyam、Neeraj Choudhary著、arXiv v1、2026年10月16日提出。プレプリント全文には課題の定義、シミュレーションケースの構築、採点、モデルの結果、保護機構の分析、明記された限界がある。著者らによる評価であり、電力会社の現場研究や独立した再現研究ではない。
  • FLAREのarXiv記録。タイトル、著者、版、提出時刻を確認でき、主要結果も要約している。この記録が現場での検証を追加するわけではない。
  • FLAREコードリポジトリ。著者らがコード、設定、集計結果を公開したリポジトリ。2026年10月19日に確認。READMEによると、大規模な電力網の基盤データ、生成されたデータパネル、モデルの重み、エピソード別の出力は保存されていない。BIG CHANGEはベンチマークを実行も再現もしていない。