Xiaomi-এর গবেষকেরা MiDashengLM-Spatial প্রকাশ করেছেন। এই অডিও-ভাষা মডেল দুই চ্যানেলের শব্দ নেয় এবং শব্দে কী আছে ও কোথা থেকে আসছে—দুই ধরনের প্রশ্নের উত্তর দেয়। ৮ অক্টোবরের গবেষণাপত্রে দুটি স্থানিক-অডিও বেঞ্চমার্কের উপসেটে পরীক্ষিত মোনো অডিও মডেলগুলোর চেয়ে অনেক বেশি স্কোরের কথা বলা হয়েছে। প্রকাশ্য কোড ও চেকপয়েন্টের কারণে পদ্ধতি দেখা যায়, যদিও BIG CHANGE মডেল চালায়নি বা মূল্যায়ন পুনরাবৃত্তি করেনি।

রেকর্ডিংয়ে একাধিক উৎস থাকলে এই পার্থক্য গুরুত্বপূর্ণ। সাধারণ অডিও প্রশ্নে কী শোনা যাচ্ছে জানতে চাওয়া হতে পারে। স্থানিক প্রশ্নে আরও জানতে চাওয়া হয়, উৎস শ্রোতার বাঁয়ে না ডানে, সেটি নড়ছে কি না এবং উত্তরটি কোন শব্দের কথা বলছে। দুটি চ্যানেল একটিতে মেশালে তাদের মধ্যকার পার্থক্য হারিয়ে যায়, যা দিকের তথ্য বহন করতে পারে।

বড় পরিবর্তন

  • কী বদলেছে: গবেষকেরা MiDashengLM-এ স্থানিক অডিও শাখা যোগ করে গবেষণাপত্র, কোড ও মডেল চেকপয়েন্ট প্রকাশ করেছেন। মডেল স্থানিক প্রশ্নের জন্য দুই কানের উপযোগী বাইনরাল অডিও নেয় এবং সাধারণ অডিও বোঝার পথও রাখে।
  • কেন গুরুত্বপূর্ণ: শব্দের অবস্থানের লিখিত উত্তরের জন্য ঘটনা চেনা এবং অবস্থানের সূত্র, দুটোই লাগে। দুই শাখার নকশায় স্থানিক শাখা মধ্যবর্তী অর্থগত বৈশিষ্ট্য ব্যবহার করতে পারে, অথচ অর্থগত শাখার সামনের দিকে প্রক্রিয়াকরণের পথ কাঠামোগতভাবে অপরিবর্তিত থাকে।
  • কী দেখতে হবে: লেখকদের চ্যানেল অদলবদল বেঞ্চমার্ক যাচাই করে বাঁ-ডান উত্তর অডিও চ্যানেল অনুসরণ করে কি না। প্রতিবেদিত ফল অ্যাপ্লিকেশনে নির্ভরযোগ্য মনে করার আগে বিভিন্ন রেকর্ডিং ব্যবস্থা ও অনেক উৎসে ভরা দৃশ্যসহ আরও স্বাধীন পরীক্ষা দরকার।

দুই শাখা কীভাবে কাজ ভাগ করে

এই arXiv v1 গবেষণাপত্র MiDashengLM থেকে পাওয়া ৩২ স্তরের অর্থগত এনকোডার এবং বহু চ্যানেলের অডিওর জন্য ১২ স্তরের Spatial-Dasheng এনকোডার বর্ণনা করে। অর্থগত পথ রেকর্ডিংয়ে কী আছে তা বের করে। Spatial-Dasheng সক্রিয় শব্দঘটনা ফ্রেম ধরে শনাক্ত করতে এবং দিক ও দূরত্ব অনুমান করতে প্রশিক্ষিত হয়, এমনকি উৎসগুলো পরস্পরকে ঢেকে দিলেও। মধ্যবর্তী অর্থগত উপস্থাপন অ্যাডাপ্টারের মাধ্যমে চারটি গভীরতায় স্থানিক শাখায় ঢোকে। শেষের আউটপুটগুলো অডিও টোকেনে মেশানো হয়, যা থেকে ভাষা মডেল লেখা তৈরি করে।

এই ব্যবস্থা সম্পর্ক স্থাপনের একটি নির্দিষ্ট সমস্যা সামলায়। দুটি উৎস একসঙ্গে মিশলে, শুধু অবস্থানের অনুমান বলে না সেখানে কোন শব্দের উৎস রয়েছে। নতুন স্থানিক উপস্থাপনকে মূল অর্থগত পথে ফেরত না পাঠিয়ে, অর্থগত বৈশিষ্ট্যের শর্তে স্থানিক বৈশিষ্ট্য তৈরি করেই লেখকেরা সূত্রগুলো যুক্ত করেন। গবেষণাপত্র বলছে, প্রশিক্ষণে প্রায় ১০ লাখ সংশ্লেষিত বাইনরাল দৃশ্য, প্রায় ১৩,০০০ ঘণ্টা অডিও এবং ৬০ লাখ প্রশ্ন-উত্তর জোড়া ব্যবহৃত হয়; এরপর মোনো ও বাইনরাল ডেটার মিশ্রণ আসে। এগুলো লেখকদের দেওয়া ডেটাসেটের পরিসংখ্যান, স্বাধীনভাবে নিরীক্ষিত গণনা নয়।

এই নির্দিষ্ট কমিটে স্থির রাখা রিপোজিটরির README একটি Transformers উদাহরণ নথিভুক্ত করে, যেখানে লিখিত নির্দেশের আগে অডিও রাখা হয় এবং বাস্তব বাইনরাল অডিওকে (2, T) আকৃতির অ্যারে হিসেবে নেওয়া হয়। এতে বলা হয়েছে, মোনো ইনপুটও চলে কিন্তু দিক বহন করে না। সেই বক্তব্য কোনো নির্দিষ্ট মাইক্রোফোন, যন্ত্র বা ধ্বনিক পরিবেশের সঙ্গে সামঞ্জস্য প্রমাণ করে না। কোডের পথ from_pretrained কে trust_remote_code=True দিয়ে কল করে, তাই চালানোর আগে ব্যবহারকারীদের রিপোজিটরি ও চেকপয়েন্ট কোড দেখা উচিত। চেকপয়েন্টের ফাইল ট্রি প্রায় 33.5 GB ফাইল এবং Apache-2.0 লাইসেন্স দেখায়; শুধু ফাইলের আকার দিয়ে কাজের মেমরি বা ইনফারেন্সের খরচ নির্ধারণ করা যায় না।

লেখকেরা কী মেপেছেন

STAR-Bench-এর Spatial Reasoning উপসেটে গবেষণাপত্রে MiDashengLM-Spatial-এর স্থানিক নির্ভুলতা ৭০.৩% বলা হয়েছে, যেখানে মোনো MiDashengLM ভিত্তিমডেলের ৪৪.৩%। MMAU-Pro-এর স্থানিক উপসেটে ৫৫.৪% বনাম ১৮.২% জানানো হয়েছে। এই সংখ্যা লেখকদের বেঞ্চমার্ক রেকর্ডিং মূল্যায়ন থেকে এসেছে, BIG CHANGE-এর পরীক্ষা বা মাপা বাস্তব স্থাপনা থেকে নয়।

গবেষণাপত্র আরও যাচাই করে, উত্তর দুটি চ্যানেলের ওপর নির্ভরশীল কি না। যেসব প্রশ্নে অডিও চ্যানেল অদলবদল করলে সঠিক বাঁ-ডান উত্তর উল্টে যায়, সেখানে সম্পূর্ণ সঠিকের হার গণনায় মূল ও অদলবদলের পরের দুটো উত্তরই ঠিক হতে হয়। লেখকেরা STAR-Bench-এ নিজের মডেলের জন্য ৭২.৬% এবং মোনো MiDashengLM ভিত্তিমডেলের জন্য ০% জানিয়েছেন। এই জোড়াভিত্তিক পরীক্ষা একটি নির্ভুলতার স্কোরের চেয়ে বেশি বলে যে দিকের উত্তর অডিওতে ভিত্তি করে কি না, যদিও এটি গবেষণাপত্রের শর্তে বেঞ্চমার্কের ফলই।

গবেষণাপত্র সতর্ক থাকার কারণও দেয়। নিজেদের সংশ্লেষিত দৃশ্যের পরীক্ষায় চলার পথের হুবহু মিল এখনও ২০%-এর নিচে, এবং একাধিক উৎস পরস্পরকে ঢেকে দেয় এমন জটিল দৃশ্যে মডেল আরও খারাপ করে। স্টেরিও STARSS23 অবস্থান নির্ণয়ের মূল্যায়নে লেখকেরা কাজটি বাঁ-ডান অ্যাজিমাথে সীমাবদ্ধ রাখেন, কারণ স্টেরিও রেকর্ডিং ওপর-নিচ এবং সামনে-পেছনের দ্ব্যর্থতা মেটাতে সীমিত সূত্র দেয়। সাধারণ অডিওর ফল সব কাজে সমান উন্নত না হয়ে কাজভেদে বদলায়। গবেষণার জন্য চেকপয়েন্টটি বিবেচনাকারীদের কাছে এই সীমা গুরুত্বপূর্ণ: স্থানিক বেঞ্চমার্কের উন্নতি বিভিন্ন রেকর্ডিং পরিবেশে স্থিতিশীল অবস্থান নির্ণয় বা নেভিগেশনের নিরাপদ ভিত্তি প্রমাণ করে না।

সূত্র ও আরও পড়ুন