Forschende haben einen Simulationsbenchmark namens FLARE entwickelt. Er prüft, wie Sprachmodell-Agenten eine eng umrissene, aber folgenreiche Netzaufgabe bewältigen: die Wahl des Vorgehens zur Wiederherstellung der Stromversorgung, nachdem eine Fehlerstelle bereits isoliert wurde. Die Agenten erhalten unvollkommene Meldungen, können weitere Informationen anfordern und Schalthandlungen vorschlagen. Eine separate, physikbasierte Schutzinstanz entscheidet, ob das vorgeschlagene Schließen eines Kuppelschalters im simulierten Netz sicher ist.
Der Vorabdruck vom 16. Oktober berichtet über 800 physikalische Fälle in fünf Beobachtungsbedingungen und insgesamt 78.750 Modelldurchläufe in seinen Auswertungen. Er bietet eine Möglichkeit, Wiederherstellungsentscheidungen und ihre Fehlermuster zu untersuchen. Über einen Feldversuch bei einem Energieversorger oder eine gemessene Verbesserung der tatsächlichen Versorgung wird nicht berichtet.
Die große Veränderung
- Was sich geändert hat: FLARE verknüpft die Informationsbeschaffung und Schaltentscheidungen eines Agenten mit simulierten elektrischen Folgen, statt nur eine Antwort zu bewerten. Die Autoren können Entscheidungen auf Grundlage unverfälschter Meldungen mit solchen vergleichen, die auf begrenzten oder fehlerhaften Meldungen beruhen.
- Warum das wichtig ist: Netzforschende können untersuchen, wo ein Agent Zeit verliert oder eine unsichere Schalthandlung vorschlägt. Dabei entscheidet weiterhin eine separate physikalische Prüfung, ob diese Schaltung wirksam wird. Die im Beitrag abgelehnten Aktionen zeigen, warum ein plausibler Plan nicht seine eigene Sicherheitsfreigabe darstellen kann.
- Worauf zu achten ist: Die Autoren nennen Versorgerdaten, Studien mit menschlichen Netzführern und eine umfassendere elektrische Validierung als künftige Arbeiten. Diese Prüfungen würden bestimmen, inwieweit der Benchmark die Entscheidungsunterstützung über seine simulierte Aufgabe nach der Fehlerisolierung hinaus informieren kann.
Was die Agenten tatsächlich tun
FLARE beginnt nach der Fehlerisolierung, wenn Teile eines Verteilnetzabgangs weiterhin ohne Strom sind. In jedem Fall kann der Agent Überwachungsberichte, Informationen aus Kundenanrufen oder Messwerte von Fehleranzeigern anfordern; eine Inspektion oder einen Schaltertest verlangen; einen vorgeschlagenen Vorgang simulieren; einen Abschnittsschalter öffnen; einen Kuppelschalter schließen; oder aufhören. Ein Kuppelschalter kann einen stromlosen Bereich mit einem anderen Abgang verbinden, doch der zusätzliche Leistungsbedarf kann Betriebsmittel überlasten. Die simulierte Aufgabe hat einen Zeithorizont von 240 Minuten sowie Grenzen für Werkzeugaufrufe und Schalthandlungen, wie das Benchmark-Protokoll festlegt.
Die Autoren kombinieren Abgangsnetze von CIGRE und SimBench mit gemessenen Betriebszeitreihen deutscher Mittelspannungsnetze. Sie simulieren Fehler, Isolierung und Schaltergebnisse. Für jeden der 800 primären physikalischen Fälle existiert ein realisierbarer Referenzplan zur Wiederherstellung. Die fünf Varianten eines Falls halten das zugrunde liegende Netz und den Fehler konstant, ändern aber, was der Agent sieht: unverfälschte, spärliche, verrauschte, veraltete oder eine kombinierte, als widersprüchlich bezeichnete Beobachtungslage. Die letzte Bedingung verringert zugleich die Überwachungsabdeckung und erhöht mehrere Fehlerraten. Ihre Ergebnisse können deshalb nicht allein den Einfluss widersprüchlicher Meldungen isolieren. Laut Anhang bezeichnet das Alter veralteter SCADA-Daten ein Etikett an Messwerten des aktuellen Zustands und keine Wiedergabe früherer physikalischer Zustände.
Durchschnittswerte verdecken schwierige Fälle
Die Forschenden bewerteten fünf instruktionsabgestimmte Modelle mit derselben Aufgabenschnittstelle und deterministischer Dekodierung. Ihre Kennzahl, normalisierter Regret, vergleicht die gewichteten Ausfallkosten jedes Durchlaufs mit dem besten realisierbaren Referenzplan, der für diesen physikalischen Fall gefunden wurde, und mit vollständiger Untätigkeit. Null entspricht den Referenzkosten; eins ist nicht besser als gar keine Maßnahme. Die Kosten berücksichtigen, wie lange Kunden ohne Strom bleiben, und gewichten Kundenklassen. Der abschließende Anteil wiederversorgter Kunden beschreibt daher nicht das gesamte Ergebnis.
Über die primären Beobachtungsbedingungen hinweg nennt Tabelle 2 des Beitrags einen mittleren Regret von 0,082 für Qwen 2.5-7B bis 0,148 für Qwen 2.5-3B. Jedes Modell hat einen Median von null, das heißt, mindestens die Hälfte seiner Durchläufe erreichte die Referenzkosten. Der Regret am 95. Perzentil liegt jedoch zwischen 0,814 und 1,000. Die Mittelwerte verdecken somit eine kleinere Gruppe von Durchläufen, deren Ergebnisse nahe an den Kosten eines unbehobenen simulierten Ausfalls liegen. Dies sind Benchmarkwerte, keine Messungen tatsächlicher Kundenausfälle.
Mehr Modellparameter brachten in diesem Vergleich keinen durchgängigen Vorteil: Qwen 2.5-7B schnitt beim mittleren Regret und am 95. Perzentil besser ab als die getesteten Konfigurationen von Qwen 2.5-14B und Mistral Small 24B mit vier Bit. Der Beitrag berichtet außerdem, dass bei verrauschten Beobachtungen seine idealisierte konventionelle FLISR-Referenz 0,054 und eine Greedy-Methode 0,060 erreichten, verglichen mit 0,089 für das beste Sprachmodell unter dieser Bedingung. Diese Referenzen nutzten die gemeinsamen Zeitvorgaben und die Bewertungsmetrik des Benchmarks. Die Ergebnisse begründen keine allgemeine Rangfolge real betriebener Systeme.
Die Schutzinstanz fing Vorschläge ab, die die Modelle nicht ausführen sollten
Bevor das vorgeschlagene Schließen eines Kuppelschalters das simulierte Netz verändert, prüft FLARE an einer Testkopie des physikalischen Zustands, ob dadurch die Netztopologie verletzt, die isolierte Fehlerstelle wieder unter Spannung gesetzt oder eine Grenze der AC-Lastflussberechnung verfehlt würde. Diese Prüfung verwendet Informationen, die dem Agenten vorenthalten werden. Ein abgelehnter Vorschlag kostet weiterhin Zeit, verändert das Netz aber nicht.
Anschließend spielten die Forschenden 15.706 von der Schutzinstanz abgelehnte Aktionen auf geklonten Netzzuständen erneut durch. Nach ihren Angaben hätten 15.142 davon, also 96,4 %, physikalische Grenzwertverletzungen verursacht. Thermische Überlastung trat bei 8.165 abgelehnten Aktionen auf, wobei sich die Kategorien der Grenzwertverletzungen überschneiden durften. Dass in den Durchläufen keine tatsächlich ausgelösten schweren Störungen auftraten, spiegelt den Eingriff der Schutzinstanz wider. Es zeigt nicht, dass die Modelle selbstständig sichere Aktionen auswählten.
Für Forschende liegt die nützliche Unterscheidung zwischen der Qualität eines vom Agenten vorgeschlagenen Plans und der unabhängigen Prüfung, die einen unsicheren Vorschlag an der Umsetzung hindert. FLARE macht beides sichtbar. Seine symmetrische Lastflussberechnung im Mitsystem bietet keine native dreiphasige oder Kurzschlussvalidierung. Die Autoren fordern Versorgerdaten und Studien mit menschlichen Netzführern. Die Studie untersucht eine simulierte Wiederherstellung nach der Isolierung, keinen autonomen Versorgerregler und keine belegte Veränderung tatsächlicher Wiederherstellungszeiten.
Quellen und weiterführende Literatur
- FLARE: physikgestützte Bewertung von Sprachmodell-Agenten für die Wiederherstellung von Netzabgängen bei beeinträchtigten Beobachtungen. BHVSP Subrahmanyam und Neeraj Choudhary, arXiv v1, eingereicht am 16. Oktober 2026. Der vollständige Vorabdruck enthält Aufgabendefinition, Aufbau der simulierten Fälle, Bewertungsmetrik, Modellergebnisse, Analyse der Schutzinstanz und genannte Einschränkungen. Es handelt sich um die Auswertung der Autoren, nicht um eine Feldstudie eines Versorgers oder eine unabhängige Replikation.
- arXiv-Eintrag zu FLARE. Bestätigt Titel, Autoren, Version und Einreichungszeit und fasst die wichtigsten Ergebnisse zusammen. Der Eintrag liefert keine zusätzliche Feldvalidierung.
- FLARE-Code-Repository. Öffentliches Repository der Autoren mit Code, Konfiguration und aggregierten Ergebnissen, abgerufen am 19. Oktober 2026. Laut README werden große Netzgrundlagen, erzeugte Datenpanels, Modellgewichte und Ausgaben einzelner Durchläufe dort nicht gespeichert. BIG CHANGE hat den Benchmark weder ausgeführt noch reproduziert.



