Xiaomi ஆய்வாளர்கள் MiDashengLM-Spatialஐ வெளியிட்டுள்ளனர். இந்த ஒலி-மொழி மாதிரி இரு சேனல் ஒலியை ஏற்று, ஒலிகளில் என்ன இருக்கிறது என்பதோடு அவை எங்கிருந்து வருகின்றன என்ற கேள்விகளுக்கும் பதிலளிக்கிறது. அக்டோபர் 8 ஆய்வுக்கட்டுரை, இரண்டு இடஞ்சார் ஒலி மதிப்பீட்டுத் துணைத்தொகுதிகளில் சோதிக்கப்பட்ட ஒற்றைச் சேனல் மாதிரிகளைவிடக் கணிசமாக அதிக மதிப்பெண்களை அறிக்கையிடுகிறது. பொதுக் குறியீடும் மாதிரிச் செக்பாயிண்ட்யும் முறையை ஆய்வு செய்ய உதவுகின்றன; ஆனால் BIG CHANGE மாதிரியை இயக்கவோ மதிப்பீடுகளை மீண்டும் செய்யவோ இல்லை.

பதிவில் ஒன்றுக்கும் மேற்பட்ட ஒலி மூலங்கள் இருக்கும்போது இந்த வேறுபாடு முக்கியம். வழக்கமான ஒலிக் கேள்வி என்ன கேட்கிறது என்று கேட்கலாம். இடஞ்சார் கேள்வி, மூலம் கேட்பவரின் இடப்புறமா வலப்புறமா, நகர்கிறதா, பதில் எந்த ஒலியைக் குறிக்கிறது என்பதையும் கேட்கும். இரு சேனல்களை ஒன்றாகக் கலப்பது திசைத் தகவலைக் கொண்டிருக்கக்கூடிய அவற்றுக்கிடையிலான வேறுபாடுகளை நீக்கிவிடுகிறது.

பெரிய மாற்றம்

  • என்ன மாறியது: ஆய்வாளர்கள் MiDashengLMஇல் இடஞ்சார் ஒலிக் கிளையைச் சேர்த்து ஆய்வுக்கட்டுரை, குறியீடு, மாதிரிச் செக்பாயிண்ட் ஆகியவற்றை வெளியிட்டனர். மாதிரி இடஞ்சார் கேள்விகளுக்கு இருகாது ஒலியைப் பயன்படுத்தி, பொதுவான ஒலிப் புரிதல் பாதையையும் வைத்திருக்கிறது.
  • இது ஏன் முக்கியம்: ஒலியின் இடத்தைக் கூறும் உரைப் பதிலுக்கு நிகழ்வு அடையாளமும் இடக் குறிப்புகளும் தேவை. இரு கிளை வடிவமைப்பு, பொருள்சார் கிளையின் முன்னோக்குப் பாதை அமைப்பை மாற்றாமல், இடஞ்சார் கிளை இடைநிலைப் பொருள்சார் அம்சங்களைப் பயன்படுத்த அனுமதிக்கிறது.
  • கவனிக்க வேண்டியது: ஆய்வாளர்களின் சேனல் மாற்றுச் சோதனை, இடம்-வலம் பதில்கள் ஒலி சேனல்களைப் பின்பற்றுகிறதா எனச் சோதிக்கிறது. அறிக்கையிட்ட முடிவுகளைப் பயன்பாடுகளில் நம்பகமானதாகக் கருதும் முன், பல்வேறு பதிவு அமைப்புகள் மற்றும் பல ஒலிகள் நிறைந்த காட்சிகள் உள்ளிட்ட கூடுதல் சுயாதீனச் சோதனைகள் தேவை.

இரு கிளைகள் பணியைப் பிரிக்கும் விதம்

இந்த arXiv v1 ஆய்வுக்கட்டுரை MiDashengLMஇலிருந்து பெற்ற 32 அடுக்குப் பொருள்சார் குறியாக்கியையும் பல சேனல் ஒலிக்கான 12 அடுக்கு Spatial-Dasheng குறியாக்கியையும் விவரிக்கிறது. பொருள்சார் பாதை பதிவில் என்ன உள்ளது என்பதைப் பிரித்தெடுக்கிறது. Spatial-Dasheng செயலிலுள்ள ஒலி நிகழ்வுகளை ஒவ்வொரு சட்டகத்திலும் கண்டறிந்து அவற்றின் திசை, தொலைவை மதிப்பிடப் பயிற்றுவிக்கப்படுகிறது; மூலங்கள் ஒன்றன்மேல் ஒன்று ஒலிக்கும் சூழலும் இதில் அடங்கும். இடைநிலைப் பொருள்சார் பிரதிநிதித்துவங்கள் அடாப்டர்கள் மூலம் நான்கு ஆழங்களில் இடஞ்சார் கிளைக்குள் வருகின்றன. இறுதி வெளியீடுகள் ஒலி டோக்கன்களாக ஒன்றிணைந்து மொழி மாதிரி உரை உருவாக்க உதவுகின்றன.

இந்த அமைப்பு குறிப்பிட்ட தொடர்புபடுத்தல் சிக்கலை அணுகுகிறது. இரண்டு மூலங்கள் ஒன்றன்மேல் ஒன்று ஒலித்தால், இட மதிப்பீடு மட்டும் அங்கே எந்த ஒலி உள்ளது என்பதைச் சொல்லாது. புதிய இடஞ்சார் பிரதிநிதித்துவங்களைப் பழைய பொருள்சார் பாதைக்குள் திருப்பி அனுப்பாமல், பொருள்சார் அம்சங்களின் அடிப்படையில் இடஞ்சார் அம்சங்களை அமைத்தே ஆய்வாளர்கள் அந்தக் குறிப்புகளை இணைக்கிறார்கள். பயிற்சியில் சுமார் 10 லட்சம் செயற்கை இருகாது காட்சிகள், சுமார் 13,000 மணிநேர ஒலி, 60 லட்சம் கேள்வி-பதில் ஜோடிகள் பயன்படுத்தப்பட்டு, பின்னர் ஒற்றைச் சேனல் மற்றும் இருகாது தரவுகள் கலக்கப்படுவதாகக் கட்டுரை கூறுகிறது. இவை ஆய்வாளர்கள் அளித்த தரவுத்தொகுப்பு எண்கள்; சுயாதீனமாகத் தணிக்கை செய்யப்பட்ட கணக்குகள் அல்ல.

இந்த குறிப்பிட்ட கமிட்டில் நிலைநிறுத்தப்பட்ட களஞ்சியத்தின் README உரை அறிவுறுத்தலுக்கு முன் ஒலியை வைக்கும் Transformers எடுத்துக்காட்டை ஆவணப்படுத்துகிறது; உண்மையான இருகாது ஒலியை (2, T) வடிவ வரிசையாக ஏற்கிறது. ஒற்றைச் சேனல் உள்ளீடும் இயங்கும், ஆனால் திசையைக் கொண்டிருக்காது என்று கூறுகிறது. இந்தக் கூற்று குறிப்பிட்ட மைக்ரோஃபோன், சாதனம் அல்லது ஒலிச்சூழலுடன் பொருந்துவதை நிரூபிக்காது. குறியீட்டுப் பாதை from_pretrained ஐ trust_remote_code=True உடன் அழைப்பதால், இயக்குவதற்கு முன் பயனர்கள் களஞ்சியம் மற்றும் செக்பாயிண்ட்க் குறியீட்டை ஆய்வு செய்ய வேண்டும். செக்பாயிண்ட்யின் கோப்பு மரம் சுமார் 33.5 GB கோப்புகளையும் Apache-2.0 உரிமத்தையும் பட்டியலிடுகிறது; கோப்பளவு மட்டும் பணியாற்றும் நினைவகத்தையோ அனுமானச் செலவையோ குறிப்பிடாது.

ஆய்வாளர்கள் அளந்தது என்ன

STAR-Benchஇன் Spatial Reasoning துணைத்தொகுதியில் MiDashengLM-Spatialக்கு 70.3% இடஞ்சார் துல்லியத்தையும் ஒற்றைச் சேனல் MiDashengLM அடிப்படை மாதிரிக்கு 44.3%ஐயும் கட்டுரை தெரிவிக்கிறது. MMAU-Pro இடஞ்சார் துணைத்தொகுதியில் 55.4% எதிர் 18.2% எனக் கூறுகிறது. இவை ஆய்வாளர்களின் மதிப்பீட்டுப் பதிவுச் சோதனை எண்கள்; BIG CHANGE சோதனையோ அளவிடப்பட்ட நடைமுறைப் பயன்பாடோ அல்ல.

பதில்கள் இரண்டு சேனல்களைச் சார்ந்துள்ளனவா என்பதையும் கட்டுரை பார்க்கிறது. சேனல்களை மாற்றினால் சரியான இடம்-வலம் பதில் தலைகீழாகும் கேள்விகளில், முழுச் சரிவிகிதத்திற்கு அசல் பதிலும் மாற்றிய பிந்தைய பதிலும் சரியாக இருக்க வேண்டும். STAR-Benchஇல் தங்கள் மாதிரி 72.6%, ஒற்றைச் சேனல் MiDashengLM அடிப்படை மாதிரி 0% என்று ஆய்வாளர்கள் தெரிவிக்கிறார்கள். ஒரு துல்லிய மதிப்பெண்ணைவிட இந்த இணைச் சோதனை திசைப் பதில் ஒலியை அடிப்படையாகக் கொண்டுள்ளதா என்பதை நன்றாகக் காட்டுகிறது; இருந்தாலும் இது கட்டுரையின் சூழல்களுக்குட்பட்ட மதிப்பீட்டு முடிவே.

எச்சரிக்கைக்கான காரணங்களையும் கட்டுரை தருகிறது. தங்களது செயற்கைக் காட்சி சோதனைகளில் நகர்வுப் பாதைகளின் துல்லியப் பொருத்தம் இன்னும் 20%க்கும் குறைவு; பல மூலங்கள் ஒன்றன்மேல் ஒன்று ஒலிக்கும் சிக்கலான காட்சிகளில் மாதிரி மோசமாகச் செயல்படுகிறது. ஸ்டீரியோ STARSS23 இடமறிதல் மதிப்பீட்டில் பணியை இடம்-வலத் திசைக்கோணத்துக்கு ஆய்வாளர்கள் வரையறுக்கிறார்கள்; ஸ்டீரியோ பதிவுகள் மேல்-கீழ், முன்-பின் குழப்பங்களைத் தீர்க்க வரம்பான குறிப்புகளையே தருகின்றன. பொதுவான ஒலி முடிவுகள் எல்லாப் பணிகளிலும் ஒரேபோல் மேம்படாமல் பணிக்கேற்ப மாறுகின்றன. ஆராய்ச்சிக்கு இந்தச் செக்பாயிண்ட்யைப் பரிசீலிப்பவர்களுக்கு இவ்வரம்புகள் முக்கியம்: இடஞ்சார் மதிப்பீட்டு முன்னேற்றங்கள் பல்வேறு பதிவுச் சூழல்களில் உறுதியான இடமறிதலையோ வழிசெலுத்தலுக்குப் பாதுகாப்பான அடிப்படையையோ நிரூபிக்கவில்லை.

மூலங்களும் கூடுதல் வாசிப்பும்