研究人員建立了名為 FLARE 的模擬基準，測試語言模型代理如何處理一項範圍有限卻影響重大的電網任務：在故障已被隔離之後，選擇如何恢復供電。代理接收不完整或不準確的報告，可以要求更多資訊並提出開關操作。一個獨立、依據物理原理運作的安全防護機制，會判斷所提議的聯絡開關閉合操作在模擬網路中是否安全。

這篇10 月 16 日的預印本報告了五種觀測設定下的 800 個物理案例，以及各項評估中合計 78,750 次模型執行回合。它提供一種檢視復電決策及其失敗模式的方法。論文沒有報告電力公司的實地試驗，也沒有報告實際供電服務經量測的改善。

重大變化

  • 改變了什麼： FLARE 將代理蒐集資訊與選擇開關操作的行為，連結到模擬的電氣後果，而不只是為答案評分。作者因此能比較使用清楚可靠報告所做的決策，與使用有限或錯誤報告所做的決策。
  • 為何重要： 電網研究人員可以檢視代理在哪裡浪費時間，或提出不安全的開關操作，同時由獨立的物理檢查決定該操作是否生效。論文中遭拒的操作顯示，看似合理的方案不能自行充當安全許可。
  • 接下來看什麼： 作者將電力公司資料、人類操作員研究，以及更完整的電氣驗證列為未來工作。這些檢查將決定，這項基準在模擬的故障隔離後任務以外，能在多大程度上為決策支援提供依據。

代理實際做什麼

FLARE 從故障隔離之後開始，此時配電饋線的部分區域仍然停電。在每個案例中，代理可以要求監測報告、客戶來電資訊或故障指示器讀值；要求檢查或開關測試；模擬提議的操作；斷開分段開關；閉合聯絡開關；或停止。聯絡開關可以把停電區域連接到另一條饋線，但增加的需求可能使設備過載。模擬任務的時間範圍為 240 分鐘，並限制工具呼叫及開關操作次數，詳見基準測試規程。

作者將 CIGRE 和 SimBench 的饋線網路，搭配德國中壓電網實測的運行時間序列資料使用。他們模擬故障、隔離及開關操作結果。800 個主要物理案例中的每一個，都有可行的復電參考方案。同一案例的五個版本維持底層電網與故障不變，只改變代理看到的資訊：清楚可靠、稀疏、含雜訊、過時，或稱為「衝突」的複合設定。最後這種設定也會降低監測覆蓋率，並提高多項錯誤率，因此無法從其結果單獨辨識矛盾報告的影響。論文附錄指出，過時 SCADA 資料的時齡是目前狀態讀值上的標籤，並非重播過去的物理狀態。

平均分數掩蓋了困難案例

研究人員以相同任務介面及確定性解碼，評估五個經指令微調的模型。其評分指標正規化悔值，將每個回合的加權停電成本，與為該物理案例找到的最佳可行參考方案及不採取行動的情況比較。零表示成本與參考方案相同；一表示不比完全不採取行動好。成本包含客戶持續停電的時間，並對不同客戶類別給予權重，因此最終恢復供電的客戶百分比，無法描述完整結果。

在主要觀測設定下，論文表 2報告的平均悔值，從 Qwen 2.5-7B 的 0.082 到 Qwen 2.5-3B 的 0.148。每個模型的中位數皆為零，表示至少一半回合的成本與參考方案相同。然而，第 95 百分位悔值介於 0.814 與 1.000。因此，平均值掩蓋了少數回合：其結果成本接近任由模擬停電持續、不恢復供電的成本。這些是基準分數，並非實際客戶停電的量測結果。

在這項比較中，模型參數更多並未帶來一致優勢：Qwen 2.5-7B 的平均及第 95 百分位悔值，優於受測的 Qwen 2.5-14B 和四位元 Mistral Small 24B 設定。論文也報告，在含雜訊的觀測下，其理想化的傳統 FLISR 參考方法得分為 0.054，貪婪方法為 0.060，而該設定下最佳語言模型為 0.089。這些參考方法使用基準共同的時間設定與評分方式；結果並不能建立實際運行系統的通用排名。

防護機制攔下了模型不應執行的提案

在所提議的聯絡開關閉合操作改變模擬電網前，FLARE 會在物理狀態的測試副本上，檢查操作是否違反網路拓撲限制、使已隔離的故障點重新帶電，或無法滿足交流潮流限制。這項檢查使用未提供給代理的資訊。遭拒的提案仍會耗費時間，但不會改變網路。

研究人員隨後在複製的網路狀態上，重播 15,706 次被防護機制拒絕的操作。他們報告，其中 15,142 次，也就是 96.4%，原本會造成違反物理限制的情況。8,165 次遭拒的操作出現熱過載，各種違規標籤允許重疊。回合中沒有因實際執行操作而發生嚴重故障，反映的是防護機制的介入，並不表示模型自行選擇了安全操作。

對研究人員而言，有用的區分在於：代理所提方案的品質，與阻止不安全提案生效的獨立檢查，是兩件事。FLARE 讓兩者都能被觀察。其平衡正序潮流計算並未原生提供三相或短路驗證，作者也呼籲取得電力公司資料並進行人類操作員研究。這項研究評估的是模擬的故障隔離後復電，而不是自主電力公司控制器，也沒有證明實際復電時間發生改變。

來源與延伸閱讀

  • FLARE：以物理為基礎，評估語言模型代理在觀測品質下降時恢復饋線供電的能力。BHVSP Subrahmanyam 與 Neeraj Choudhary，arXiv v1，2026 年 10 月 16 日提交。完整預印本提供任務定義、模擬案例建構、評分、模型結果、防護機制分析及明列的限制。這是作者自己的評估，並非電力公司的實地研究或獨立重現。
  • FLARE 的 arXiv 紀錄。確認標題、作者、版本與提交時間，並概述主要結果。這份紀錄沒有增加實地驗證。
  • FLARE 程式碼儲存庫。作者公開的程式碼、設定及彙總結果儲存庫，於 2026 年 10 月 19 日查閱。其 README 指出，大型電網基礎資料、生成的資料面板、模型權重及各回合輸出並未存放其中；BIG CHANGE 沒有執行或重現這項基準。