పరిశోధకులు FLARE అనే అనుకరణ ఆధారిత బెంచ్‌మార్క్‌ను రూపొందించారు. భాషా మోడల్ ఏజెంట్లు పరిమితమైనా కీలకమైన గ్రిడ్ పనిని ఎలా నిర్వహిస్తాయో ఇది పరీక్షిస్తుంది: లోపాన్ని ఇప్పటికే వేరుచేసిన తర్వాత విద్యుత్తును ఎలా పునరుద్ధరించాలో ఎంచుకోవడం. ఏజెంట్లకు అసంపూర్ణమైన లేదా తప్పులున్న నివేదికలు అందుతాయి; అవి మరింత సమాచారం కోరవచ్చు, స్విచ్‌లను ఆపరేట్ చేసే ప్రతిపాదనలు చేయవచ్చు. అనుకరణ నెట్‌వర్క్‌లో ప్రతిపాదించిన అనుసంధాన స్విచ్ మూసివేత సురక్షితమా కాదా అని ప్రత్యేక భౌతికశాస్త్ర ఆధారిత రక్షణ వ్యవస్థ నిర్ణయిస్తుంది.

ఈ పరిశోధనకు సంబంధించిన అక్టోబర్ 16 ప్రీప్రింట్ ఐదు పరిశీలన పరిస్థితుల్లో 800 భౌతిక సందర్భాలను, వివిధ మూల్యాంకనాల్లో మొత్తం 78,750 మోడల్ ఎపిసోడ్‌లను నివేదించింది. పునరుద్ధరణ నిర్ణయాలను, అవి విఫలమయ్యే విధానాలను పరిశీలించడానికి ఇది ఒక మార్గాన్ని అందిస్తుంది. విద్యుత్‌ సంస్థ క్షేత్రస్థాయి ప్రయోగాన్ని గానీ, వాస్తవ సేవలో కొలిచిన మెరుగుదలను గానీ ఇది నివేదించలేదు.

పెద్ద మార్పు

  • ఏమి మారింది: కేవలం జవాబుకు స్కోరు ఇవ్వకుండా, ఏజెంట్ సమాచార సేకరణను, స్విచ్ ఎంపికలను అనుకరణలోని విద్యుత్‌ పరిణామాలతో FLARE అనుసంధానిస్తుంది. స్పష్టమైన, సరైన నివేదికలతో తీసుకున్న నిర్ణయాలను పరిమితమైన లేదా తప్పులున్న నివేదికలతో తీసుకున్న నిర్ణయాలతో రచయితలు పోల్చవచ్చు.
  • ఇది ఎందుకు ముఖ్యం: ఏజెంట్ ఎక్కడ సమయాన్ని కోల్పోతుందో లేదా అసురక్షిత స్విచ్ చర్యను ప్రతిపాదిస్తుందో గ్రిడ్ పరిశోధకుడు పరిశీలించవచ్చు. అదే సమయంలో ఆ చర్య అమలవుతుందా లేదా అన్నది వేరే భౌతిక తనిఖీ అధీనంలో ఉంటుంది. ఆమోదయోగ్యంగా కనిపించే ప్రణాళిక తన భద్రతకు తానే అనుమతి ఇవ్వలేదని పత్రంలోని తిరస్కరించిన చర్యలు చూపుతాయి.
  • తదుపరి గమనించాల్సినవి: విద్యుత్‌ సంస్థల డేటా, మానవ ఆపరేటర్లతో అధ్యయనాలు, మరింత సమగ్ర విద్యుత్‌ ధ్రువీకరణను రచయితలు భవిష్యత్ పనిగా గుర్తించారు. లోపాన్ని వేరుచేసిన తర్వాతి అనుకరణ పనికి మించి నిర్ణయ సహాయానికి ఈ బెంచ్‌మార్క్ ఎంతవరకు ఉపయోగపడుతుందో ఆ తనిఖీలు తేలుస్తాయి.

ఏజెంట్లు నిజంగా ఏమి చేస్తాయి

FLARE ప్రారంభమయ్యేది లోపాన్ని వేరుచేసిన తర్వాత; ఆ సమయంలో పంపిణీ ఫీడర్‌లోని కొన్ని ప్రాంతాలకు విద్యుత్తు ఇంకా ఉండదు. ప్రతి సందర్భంలో ఏజెంట్ పర్యవేక్షణ నివేదికలు, వినియోగదారుల ఫోన్‌కాల్ సమాచారం లేదా లోప సూచికల రీడింగ్‌లను అడగవచ్చు; తనిఖీని లేదా స్విచ్ పరీక్షను కోరవచ్చు; ప్రతిపాదిత చర్యను అనుకరించవచ్చు; విభాగీకరణ స్విచ్‌ను తెరవవచ్చు; అనుసంధాన స్విచ్‌ను మూసివేయవచ్చు; లేదా ఆగిపోవచ్చు. అనుసంధాన స్విచ్ విద్యుత్తు లేని ప్రాంతాన్ని మరో ఫీడర్‌కు కలపగలదు; అయితే అదనపు డిమాండ్ పరికరాలపై అధిక భారం మోపవచ్చు. ఈ అనుకరణ పనికి 240 నిమిషాల కాలవ్యవధి, టూల్ కాల్స్ మరియు స్విచ్ చర్యల సంఖ్యపై పరిమితులు ఉన్నాయని బెంచ్‌మార్క్ ప్రోటోకాల్ పేర్కొంటుంది.

రచయితలు CIGRE, SimBench ఫీడర్ నెట్‌వర్క్‌లను జర్మనీలో మధ్యస్థ వోల్టేజ్ వ్యవస్థల పని తీరుపై కొలిచిన కాలక్రమ డేటాతో కలిపారు. లోపాలు, వేరుచేయడం, స్విచ్ చర్యల ఫలితాలను అనుకరించారు. ప్రధానమైన 800 భౌతిక సందర్భాల్లో ప్రతిదానికీ ఆచరణ సాధ్యమైన పునరుద్ధరణ సూచన ప్రణాళిక ఉంది. ఒక సందర్భానికి చెందిన ఐదు రూపాల్లో అంతర్లీన గ్రిడ్, లోపం మారవు; ఏజెంట్‌కు కనిపించేది మాత్రమే మారుతుంది: స్పష్టమైన, పరిమితమైన, శబ్దం కలిసిన, కాలం చెల్లిన లేదా విరుద్ధం అని పేరు పెట్టిన మిశ్రమ పరిస్థితి. చివరి పరిస్థితిలో పర్యవేక్షణ పరిధి కూడా తగ్గుతుంది, పలు తప్పుల రేట్లు పెరుగుతాయి. కాబట్టి దాని ఫలితాల నుంచి కేవలం పరస్పర విరుద్ధ నివేదికల ప్రభావాన్ని వేరుచేయలేం. కాలం చెల్లిన SCADA డేటా వయస్సు అనేది ప్రస్తుత స్థితి రీడింగ్‌లకు పెట్టిన లేబుల్ మాత్రమేనని, పాత భౌతిక స్థితులను మళ్లీ నడపడం కాదని పత్రం అనుబంధం చెబుతుంది.

సగటు స్కోర్లు కష్టమైన సందర్భాలను కప్పిపుచ్చుతాయి

అదే టాస్క్ ఇంటర్‌ఫేస్, నిర్ణీత విధానంలో జరిగే డీకోడింగ్ ఉపయోగించి సూచనలకు అనుగుణంగా ట్యూన్ చేసిన ఐదు మోడళ్లను పరిశోధకులు మూల్యాంకనం చేశారు. వారి స్కోరు సూచిక నార్మలైజ్డ్ రిగ్రెట్ ప్రతి ఎపిసోడ్‌లోని భారిత విద్యుత్‌ అంతరాయ వ్యయాన్ని, ఆ భౌతిక సందర్భానికి కనుగొన్న అత్యుత్తమ ఆచరణ సాధ్యమైన సూచన ప్రణాళికతోనూ, ఏ చర్యా తీసుకోని పరిస్థితితోనూ పోలుస్తుంది. సున్నా అంటే సూచన వ్యయంతో సమానం; ఒకటి అంటే ఏ చర్యా తీసుకోకపోవడం కంటే మెరుగేమీ లేదని అర్థం. వినియోగదారులు ఎంతసేపు విద్యుత్తు లేకుండా ఉన్నారనేది వ్యయంలో భాగం; వినియోగదారుల వర్గాలకు వేర్వేరు భారాలు వర్తిస్తాయి. అందువల్ల చివరికి ఎంత శాతం వినియోగదారులకు సరఫరా పునరుద్ధరించారనేది మొత్తం ఫలితాన్ని వివరించదు.

ప్రధాన పరిశీలన పరిస్థితులన్నింటిలో, పత్రంలోని పట్టిక 2 సగటు రిగ్రెట్‌ను Qwen 2.5-7Bకు 0.082 నుంచి Qwen 2.5-3Bకు 0.148 వరకు నివేదిస్తుంది. ప్రతి మోడల్ మధ్యక విలువ సున్నా; అంటే కనీసం సగం ఎపిసోడ్‌లు సూచన వ్యయానికి సమానంగా ఉన్నాయని అర్థం. అయితే 95వ పర్సెంటైల్ రిగ్రెట్ 0.814 నుంచి 1.000 వరకు ఉంది. కాబట్టి అనుకరణ విద్యుత్‌ అంతరాయాన్ని పునరుద్ధరించకుండా అలాగే ఉంచే వ్యయానికి దగ్గరగా ఉన్న ఫలితాలు ఇచ్చిన చిన్న ఎపిసోడ్‌ల సమూహాన్ని సగటులు దాచేస్తాయి. ఇవి బెంచ్‌మార్క్ స్కోర్లు; వాస్తవ వినియోగదారుల విద్యుత్‌ అంతరాయాల కొలతలు కావు.

ఈ పోలికలో మోడల్ పారామీటర్లు ఎక్కువగా ఉండటం స్థిరమైన ప్రయోజనాన్ని ఇవ్వలేదు: పరీక్షించిన Qwen 2.5-14B, నాలుగు-బిట్ Mistral Small 24B కాన్ఫిగరేషన్ల కంటే Qwen 2.5-7B సగటు, 95వ పర్సెంటైల్ రిగ్రెట్‌లో మెరుగ్గా నిలిచింది. శబ్దం కలిసిన పరిశీలనల పరిస్థితిలో ఆదర్శీకరించిన సంప్రదాయ FLISR సూచన పద్ధతికి 0.054, గ్రీడీ పద్ధతికి 0.060 వచ్చాయని, అదే పరిస్థితిలో ఉత్తమ భాషా మోడల్‌కు 0.089 వచ్చిందని కూడా పత్రం చెబుతుంది. ఆ సూచన పద్ధతులు బెంచ్‌మార్క్‌లోని ఉమ్మడి కాలనియమాలు, స్కోరు పద్ధతితో పనిచేశాయి; ఈ ఫలితాలు వాస్తవంగా పనిచేసే వ్యవస్థలకు సాధారణ ర్యాంకింగ్‌ను నిర్ధారించవు.

మోడళ్లు అమలు చేయకూడని ప్రతిపాదనలను రక్షణ వ్యవస్థ పట్టుకుంది

ప్రతిపాదిత అనుసంధాన స్విచ్ మూసివేత అనుకరణ గ్రిడ్‌ను మార్చకముందే, FLARE భౌతిక స్థితికి చెందిన పరీక్షా ప్రతిపై తనిఖీ చేస్తుంది: అది నెట్‌వర్క్ ఆకృతి పరిమితులను ఉల్లంఘిస్తుందా, వేరుచేసిన లోపానికి తిరిగి విద్యుత్తును అందిస్తుందా, లేదా AC పవర్-ఫ్లో పరిమితులను అందుకోలేదా అని చూస్తుంది. ఏజెంట్‌కు ఇవ్వని సమాచారాన్ని ఈ తనిఖీ ఉపయోగిస్తుంది. తిరస్కరించిన ప్రతిపాదన కూడా సమయం తీసుకుంటుంది; కానీ నెట్‌వర్క్‌ను మార్చదు.

తరువాత పరిశోధకులు రక్షణ వ్యవస్థ తిరస్కరించిన 15,706 చర్యలను నెట్‌వర్క్ స్థితుల ప్రతులపై మళ్లీ అమలు చేశారు. వాటిలో 15,142, అంటే 96.4%, భౌతిక పరిమితుల ఉల్లంఘనకు దారితీసేవని వారు నివేదించారు. తిరస్కరించిన 8,165 చర్యల్లో ఉష్ణపరమైన అధిక భారం కనిపించింది; ఉల్లంఘన వర్గాలు ఒకదానితో ఒకటి అతివ్యాప్తి చెందవచ్చు. ఎపిసోడ్‌లలో వాస్తవంగా అమలైన చర్యల వల్ల తీవ్రమైన వైఫల్యాలు లేకపోవడం రక్షణ వ్యవస్థ జోక్యాన్ని సూచిస్తుంది; మోడళ్లు స్వతంత్రంగా సురక్షిత చర్యలను ఎంచుకున్నాయని అది చూపదు.

పరిశోధకులకు ఉపయోగకరమైన భేదం ఏమిటంటే, ఏజెంట్ ప్రతిపాదించిన ప్రణాళిక నాణ్యత వేరు; అసురక్షిత ప్రతిపాదన అమలు కాకుండా ఆపే స్వతంత్ర తనిఖీ వేరు. FLARE రెండింటినీ కనిపించేలా చేస్తుంది. దాని సమతుల్య పాజిటివ్-సీక్వెన్స్ పవర్-ఫ్లో గణనలో సహజసిద్ధంగా మూడు-ఫేజ్ లేదా షార్ట్‌సర్క్యూట్ ధ్రువీకరణ లేదు. విద్యుత్‌ సంస్థల డేటా, మానవ ఆపరేటర్లతో అధ్యయనాలు అవసరమని రచయితలు అంటున్నారు. ఈ అధ్యయనం లోపాన్ని వేరుచేసిన తర్వాతి అనుకరణ పునరుద్ధరణను అంచనా వేస్తుంది; స్వయంచాలక విద్యుత్‌ సంస్థ కంట్రోలర్‌ను లేదా వాస్తవ పునరుద్ధరణ సమయాల్లో నిరూపిత మార్పును కాదు.

మూలాలు, మరింత చదవడానికి

  • FLARE: నాణ్యత తగ్గిన పరిశీలనలతో ఫీడర్ పునరుద్ధరణ చేసే భాషా మోడల్ ఏజెంట్ల భౌతికశాస్త్ర ఆధారిత మూల్యాంకనం. BHVSP Subrahmanyam, Neeraj Choudhary, arXiv v1; అక్టోబర్ 16, 2026న సమర్పించారు. పూర్తి ప్రీప్రింట్‌లో పనికి నిర్వచనం, అనుకరణ సందర్భాల నిర్మాణం, స్కోరు పద్ధతి, మోడల్ ఫలితాలు, రక్షణ విశ్లేషణ, పేర్కొన్న పరిమితులు ఉన్నాయి. ఇది రచయితల మూల్యాంకనం; విద్యుత్‌ సంస్థ క్షేత్రస్థాయి అధ్యయనం లేదా స్వతంత్ర పునరావృత పరిశోధన కాదు.
  • FLAREకు సంబంధించిన arXiv రికార్డు. శీర్షిక, రచయితలు, వెర్షన్, సమర్పణ సమయాన్ని నిర్ధారించి, ప్రధాన ఫలితాలను సంగ్రహిస్తుంది. ఈ రికార్డు క్షేత్రస్థాయి ధ్రువీకరణను అదనంగా అందించదు.
  • FLARE కోడ్ రిపాజిటరీ. రచయితల బహిరంగ కోడ్, కాన్ఫిగరేషన్, సమగ్ర ఫలితాల రిపాజిటరీ; అక్టోబర్ 19, 2026న పరిశీలించబడింది. పెద్ద గ్రిడ్ ఆధార డేటా, రూపొందించిన డేటా ప్యానెల్‌లు, మోడల్ వెయిట్లు, ఎపిసోడ్‌ల వారీ అవుట్‌పుట్లు అందులో నిల్వ చేయలేదని README చెబుతుంది; BIG CHANGE ఈ బెంచ్‌మార్క్‌ను నడపలేదు లేదా పునరుత్పత్తి చేయలేదు.