Xiaomi పరిశోధకులు MiDashengLM-Spatialను విడుదల చేశారు. ఈ ఆడియో-భాషా మోడల్ రెండు ఛానళ్ల ధ్వనిని స్వీకరించి, శబ్దాల్లో ఏముంది అనేదే కాక అవి ఎక్కడి నుంచి వస్తున్నాయనే ప్రశ్నలకూ సమాధానమిస్తుంది. అక్టోబర్ 8 పత్రం రెండు స్థల-ఆడియో బెంచ్‌మార్క్ ఉపసమూహాల్లో పరీక్షించిన మోనో ఆడియో మోడళ్ల కంటే గణనీయంగా ఎక్కువ స్కోర్లు నివేదిస్తుంది. బహిరంగ కోడ్, చెక్‌పాయింట్ ద్వారా పద్ధతిని పరిశీలించవచ్చు; అయితే BIG CHANGE మోడల్‌ను అమలు చేయలేదు, మూల్యాంకనాలు పునరావృతం చేయలేదు.

రికార్డింగ్‌లో ఒకటి కంటే ఎక్కువ ధ్వని మూలాలున్నప్పుడు ఈ తేడా ముఖ్యం. సాధారణ ఆడియో ప్రశ్న ఏమి వినిపిస్తోందని అడగవచ్చు. స్థల సంబంధ ప్రశ్న మూలం శ్రోతకు ఎడమవైపా కుడివైపా, కదులుతుందా, సమాధానం ఏ ధ్వనిని సూచిస్తోందనేవీ అడుగుతుంది. రెండు ఛానళ్లను ఒకటిగా కలిపితే దిశ సమాచారాన్ని మోసుకెళ్లగల వాటి మధ్య తేడాలు తొలగిపోతాయి.

పెద్ద మార్పు

  • ఏం మారింది: పరిశోధకులు MiDashengLMకు స్థల-ఆడియో శాఖను జోడించి పత్రం, కోడ్, మోడల్ చెక్‌పాయింట్ విడుదల చేశారు. మోడల్ స్థల సంబంధ ప్రశ్నలకు బైనారల్ ఆడియోను తీసుకుంటుంది; సాధారణ ఆడియో అవగాహనకు ఒక మార్గాన్నీ ఉంచుతుంది.
  • ఎందుకు ముఖ్యం: ధ్వని స్థానం గురించి వచన సమాధానానికి ఘటన గుర్తింపు, స్థాన సూచనలు రెండూ అవసరం. రెండు శాఖల రూపకల్పనలో అర్థసంబంధ శాఖ ముందుకు సాగే మార్గ నిర్మాణం మారకుండా, స్థల శాఖ మధ్యంతర అర్థసంబంధ లక్షణాలను ఉపయోగించగలదు.
  • గమనించాల్సినవి: రచయితల ఛానల్ మార్పిడి బెంచ్‌మార్క్ ఎడమ-కుడి సమాధానాలు ఆడియో ఛానళ్లను అనుసరిస్తాయా అని పరీక్షిస్తుంది. నివేదించిన ఫలితాలను అనువర్తనాల్లో నమ్మదగినవిగా భావించే ముందు, వేర్వేరు రికార్డింగ్ ఏర్పాట్లు, అనేక ధ్వనులతో నిండిన దృశ్యాలతో మరిన్ని స్వతంత్ర పరీక్షలు అవసరం.

రెండు శాఖలు పనిని ఎలా పంచుకుంటాయి

ఈ arXiv v1 పత్రం MiDashengLM నుంచి వచ్చిన 32-పొరల అర్థసంబంధ ఎన్‌కోడర్‌ను, బహుళ ఛానల్ ఆడియో కోసం 12-పొరల Spatial-Dasheng ఎన్‌కోడర్‌ను వివరిస్తుంది. అర్థసంబంధ మార్గం రికార్డింగ్‌లో ఏముందో వెలికితీస్తుంది. Spatial-Dasheng చురుకైన ధ్వని ఘటనలను ఒక్కో ఫ్రేమ్‌లో గుర్తించి వాటి దిశ, దూరాన్ని అంచనా వేయడానికి శిక్షణ పొందుతుంది; మూలాలు ఒకదానిపై మరొకటి పడినప్పుడు కూడా. మధ్యంతర అర్థసంబంధ ప్రతినిధ్యాలు అడాప్టర్ల ద్వారా నాలుగు లోతుల్లో స్థల శాఖలోకి వస్తాయి. తుది అవుట్‌పుట్‌లు ఆడియో టోకెన్లుగా కలిసి, భాషా మోడల్ వచనం సృష్టించడానికి ఉపయోగపడతాయి.

ఈ ఏర్పాటు ఒక నిర్దిష్ట అనుసంధాన సమస్యను పరిష్కరించేందుకు ఉద్దేశించింది. రెండు మూలాలు కలిసినప్పుడు స్థాన అంచనా ఒక్కటే అక్కడ ఏ ధ్వని ఉందో చెప్పదు. కొత్త స్థల ప్రతినిధ్యాలను అసలు అర్థసంబంధ మార్గంలోకి వెనక్కి పంపకుండా, అర్థసంబంధ లక్షణాల ఆధారంగా స్థల లక్షణాలను రూపొందించడం రచయితలు సూచనలను కలిపే విధానం. శిక్షణలో సుమారు 10 లక్షల సంశ్లేషిత బైనారల్ దృశ్యాలు, సుమారు 13,000 గంటల ఆడియో, 60 లక్షల ప్రశ్నోత్తర జంటలు ఉపయోగించి, ఆ తర్వాత మోనో, బైనారల్ డేటాను కలుపుతారని పత్రం చెబుతుంది. అవి రచయితల డేటాసెట్ గణాంకాలు; స్వతంత్రంగా ఆడిట్ చేసిన లెక్కలు కావు.

ఈ నిర్దిష్ట కమిట్‌కు స్థిరపరిచిన రిపోజిటరీ README వచన సూచనకు ముందు ఆడియో ఉంచే Transformers ఉదాహరణను వివరిస్తుంది; నిజమైన బైనారల్ ఆడియోను (2, T) ఆకృతి గల అర్రేగా స్వీకరిస్తుంది. మోనో ఇన్‌పుట్ కూడా పనిచేస్తుంది కానీ దిశను మోసుకెళ్లదని చెబుతుంది. ఆ ప్రకటన నిర్దిష్ట మైక్రోఫోన్, పరికరం లేదా ధ్వని వాతావరణంతో అనుకూలతను నిర్ధారించదు. కోడ్ మార్గం from_pretrained ను trust_remote_code=True తో పిలుస్తుంది; అందువల్ల అమలు చేసే ముందు వినియోగదారులు రిపోజిటరీ, చెక్‌పాయింట్ కోడ్‌ను పరిశీలించాలి. చెక్‌పాయింట్ ఫైల్ ట్రీ సుమారు 33.5 GB ఫైళ్లు, Apache-2.0 లైసెన్స్‌ను జాబితా చేస్తుంది; ఫైల్ పరిమాణం ఒక్కటే పని మెమరీ లేదా ఇన్‌ఫరెన్స్ వ్యయాన్ని చెప్పదు.

రచయితలు ఏం కొలిచారు

STAR-Benchలో Spatial Reasoning ఉపసమూహంపై MiDashengLM-Spatialకు 70.3% స్థల ఖచ్చితత్వాన్ని, మోనో MiDashengLM ఆధార మోడల్‌కు 44.3%ను పత్రం నివేదిస్తుంది. MMAU-Pro స్థల ఉపసమూహంపై 55.4% వర్సెస్ 18.2% చెబుతుంది. ఇవి రచయితలు బెంచ్‌మార్క్ రికార్డింగ్‌లపై చేసిన మూల్యాంకనం నుంచి వచ్చినవి; BIG CHANGE పరీక్ష లేదా కొలిచిన వాస్తవ అమలు కాదు.

సమాధానాలు రెండు ఛానళ్లపై ఆధారపడుతున్నాయా అని కూడా పత్రం తనిఖీ చేస్తుంది. ఆడియో ఛానళ్లను మార్చితే సరైన ఎడమ-కుడి సమాధానం తిరగబడే ప్రశ్నల్లో, పూర్తి-సరైన రేటుకు అసలు, మార్చిన రెండింటి సమాధానాలూ సరైనవిగా ఉండాలి. STAR-Benchపై తమ మోడల్‌కు 72.6%, మోనో MiDashengLM ఆధార మోడల్‌కు 0% అని రచయితలు చెబుతారు. ఒక్క ఖచ్చితత్వ స్కోరు కంటే ఈ జంట పరీక్ష దిశ సమాధానం ఆడియో ఆధారంగా ఉందా అన్నదాన్ని బాగా తెలియజేస్తుంది; అయినా ఇది పత్రంలోని పరిస్థితుల్లో బెంచ్‌మార్క్ ఫలితమే.

జాగ్రత్తకు కారణాలనూ పత్రం ఇస్తుంది. సొంత సంశ్లేషిత దృశ్య పరీక్షల్లో కదలిక మార్గాల ఖచ్చిత సరిపోలికలు ఇంకా 20% కంటే తక్కువగానే ఉన్నాయి; అనేక మూలాలు కలిసే క్లిష్ట దృశ్యాల్లో మోడల్ పనితీరు మరింత తక్కువ. స్టీరియో STARSS23 స్థాన నిర్ధారణ మూల్యాంకనంలో రచయితలు పనిని ఎడమ-కుడి అజిముత్‌కే పరిమితం చేస్తారు; స్టీరియో రికార్డింగ్‌లు పై-కింద, ముందు-వెనుక సందిగ్ధతలను పరిష్కరించడానికి పరిమిత సూచనలే ఇస్తాయి. సాధారణ ఆడియో ఫలితాలు అన్నింటిలో సమంగా మెరుగవకుండా పనిని బట్టి మారతాయి. పరిశోధనకు చెక్‌పాయింట్‌ను పరిగణించే వారికి ఈ పరిమితులు ముఖ్యం: స్థల బెంచ్‌మార్క్ మెరుగుదలలు వేర్వేరు రికార్డింగ్ వాతావరణాల్లో దృఢమైన స్థాన నిర్ధారణను లేదా నావిగేషన్‌కు సురక్షిత ఆధారాన్ని నిర్ధారించవు.

మూలాలు, తదుపరి పఠనం