Markdown সংস্করণ

AI-translated from English; not yet reviewed by a fluent editor.

# Microsoft-এর MAI-Base-2 প্রতিবেদন প্রাক্‌প্রশিক্ষণ মাপে, প্রকাশিত মডেল নয়

> Microsoft আলাদা রাখা মূল্যায়ন পাঠ্যে MAI-Base-2-এর ফলাফল এবং বক্ররেখা ফিট করে পাওয়া প্রশিক্ষণদক্ষতার অনুমান জানিয়েছে। বেস মডেল এখনও পরবর্তী প্রশিক্ষণে আছে; পরীক্ষার জন্য প্রকাশ্য চেকপয়েন্ট নেই।

By BIG CHANGE Editorial

Published: 2026-10-16T16:13:14.938Z
Updated: 2026-10-16T16:13:14.938Z
Canonical: https://bigchange.ai/blog/microsoft-mai-base-2-pretraining-efficiency-report

![Conceptual charcoal illustration of a storage rack connected by overhead cables to compute racks, with a separate blank evaluation workstation in a generic room.](https://bigchange.ai/api/media/file/mai-base-2-pretraining-concept-v1.png)
AI-generated conceptual illustration by BIG CHANGE; not actual Microsoft hardware or a measured result.

Microsoft AI বলছে, তারা MAI-Base-2-এর প্রাক্‌প্রশিক্ষণ শেষ করেছে। এটি 80 বিলিয়ন সক্রিয় এবং মোট 2.8 ট্রিলিয়ন প্যারামিটারের mixture-of-experts মডেল। এর [15 অক্টোবরের প্রযুক্তিগত প্রতিবেদন](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) 2026 সালের আগস্ট ও সেপ্টেম্বরে 16,000 GB200 GPU-তে চলা 38 দিনের প্রশিক্ষণের বর্ণনা দেয়। ফলাফল মূল্যায়নকারী প্রকৌশলীদের জন্য মডেল র‌্যাঙ্কিংয়ের চেয়ে সীমিত একটি প্রশ্ন বেশি কাজে আসে: পরবর্তী প্রশিক্ষণ ও প্রকাশ্য ব্যবহারের আগে প্রতিবেদনটি কী মাপে?

উত্তরের দুটি অংশ। Microsoft বলছে, আলাদা রাখা মূল্যায়নের চার বিভাগে প্রতি বাইটে বিটের সংখ্যা (BPB) তাদের পরীক্ষা করা চেকপয়েন্টগুলির চেয়ে কম। আলাদাভাবে, নিজেদের বিভিন্ন মাপের পরীক্ষার ধারায় ফিট করা বক্ররেখা ব্যবহার করে তারা অনুমান করেছে, একই BPB-তে পৌঁছাতে তাদের প্রশিক্ষণপদ্ধতির DeepSeek-V4-Pro-Base-এর চেয়ে 4.2–12.3 গুণ কম প্রশিক্ষণ FLOPs লাগে। এগুলি আলাদা সিদ্ধান্ত, যাদের সীমাবদ্ধতাও আলাদা।

## বড় পরিবর্তন

- **কী বদলেছে:** Microsoft বড় মাপের বেস মডেলের প্রশিক্ষণ শেষ হওয়ার কথা জানিয়েছে, সঙ্গে দিয়েছে আলাদা রাখা পাঠ্যের মূল্যায়ন ও প্রশিক্ষণপদ্ধতির বিস্তারিত বিবরণ। MAI-Base-2 এখনও পরবর্তী প্রশিক্ষণে আছে।
- **কেন গুরুত্বপূর্ণ:** Microsoft কীভাবে মডেলের মানের সঙ্গে প্রশিক্ষণের গণনাকে যুক্ত করে এবং ডেটা, স্থাপত্য ও অবকাঠামোর কোন সিদ্ধান্তগুলি অবদান রেখেছে বলে দাবি করে, প্রকৌশলীরা তা পরীক্ষা করতে পারেন। প্রমাণগুলি প্রাক্‌প্রশিক্ষণের লস ও Microsoft-এর অভ্যন্তরীণ মাপ সম্পর্কিত; কাজের চাপে পরীক্ষা করার মতো প্রকাশ্য MAI-Base-2 ইনফারেন্স পরিষেবা বা প্রকাশিত চেকপয়েন্ট নেই।
- **কী খেয়াল রাখতে হবে:** পরবর্তী প্রশিক্ষণের ফল ও প্রবেশাধিকারের শর্ত ঠিক করবে এই ভিত্তি পণ্যে বা বাইরের দলের কাছে কার্যকর হয় কি না। Foundry দিয়ে ওয়েট লাইসেন্স দেওয়ার Microsoft-এর ঘোষিত পরিকল্পনা ভবিষ্যতের প্রস্তাব, বর্তমান উপলব্ধতা নয়।

## আলাদা রাখা ডেটার তুলনা কী বলে

Microsoft প্রাক্‌প্রশিক্ষিত মডেলকে আলাদা রাখা পাঠ্যে BPB দিয়ে মূল্যায়ন করে। এটি প্রতি বাইটে পূর্বানুমানের লস প্রকাশ করে এবং টোকেনাইজারনির্ভর স্কোর এড়ায়। প্রতিবেদন কোড, STEM, গণিত ও প্রশ্নোত্তরের মূল্যায়ন উল্লেখ করে। তার মতে কোড সেট MAI-এর নিজস্ব কোডবেস থেকে এসেছে, অন্য সেটগুলি Microsoft সরবরাহকারীদের দিয়ে তৈরি করিয়েছে; Microsoft বলছে, চারটিকেই তাদের প্রশিক্ষণ ডেটার সঙ্গে দূষণমুক্ত করেছে। এগুলি মূল্যায়নকারীর বর্ণিত সুরক্ষা ব্যবস্থা, স্বাধীনভাবে পুনরাবৃত্ত ডেটা নিরীক্ষা নয়।

এই সেটগুলিতে পরীক্ষা করা প্রতিটি মডেলের চেয়ে MAI-Base-2-এর BPB কম বলে Microsoft জানিয়েছে। চেকপয়েন্টের পার্থক্য গুরুত্বপূর্ণ। DeepSeek-V4-Pro-Base হল প্রকাশিত *বেস* মডেল, যাকে Microsoft নিজেদের পদ্ধতির তুলনামূলক ভিত্তি হিসেবে ব্যবহার করে। Microsoft বলছে, কেবল *পরবর্তী প্রশিক্ষণ সম্পন্ন* চেকপয়েন্টই Kimi K3, Qwen3.8-2.4T-A95B ও MiMo-V2.6-Pro-RL-এর জন্য পাওয়া গিয়েছিল; পরবর্তী প্রশিক্ষণ এই মূল্যায়নে প্রভাব ফেলতে পারে বলেও তারা স্বীকার করে। তাই বেস বনাম পরবর্তী প্রশিক্ষিত মডেলের BPB চার্ট চার প্রতিদ্বন্দ্বীর প্রাক্‌প্রশিক্ষণপদ্ধতির নিয়ন্ত্রিত তুলনা নয়। প্রতিবেদনে OpenAI চেকপয়েন্টের পরীক্ষা নেই, ফলে MAI-Base-2 কোনো OpenAI মডেলকে হারায় বলার ভিত্তি মেলে না।

BPB যে প্রশ্নের উত্তর দেয় তা সহকারীর কার্যকারিতা থেকেও আলাদা। এটি বেছে নেওয়া আলাদা রাখা উপকরণের লস মাপে; নির্দেশ অনুসরণ, পরবর্তী প্রশিক্ষণের পর যুক্তি, বিলম্ব, নিরাপত্তা বা অ্যাপের পরিচালন খরচ নয়। Microsoft বলছে, MAI-Base-2 এখনও পরবর্তী প্রশিক্ষণে আছে; প্রতিবেদন প্রকাশ্য ওয়েট, ইনফারেন্স এন্ডপয়েন্ট, মূল্য বা গ্রাহকের ফলাফল দেয় না।

## গণনাদক্ষতার পরিসর কোথা থেকে এসেছে

4.2–12.3× দাবিটি ফিট করা স্কেলিং বক্ররেখা থেকে এসেছে। নিজেদের বিভিন্ন মাপের পরীক্ষার ধারা ও MAI-Base-2-এর জানা চূড়ান্ত ফল দিয়ে Microsoft চার মূল্যায়নের প্রতিটির জন্য আলাদা BPB বনাম প্রশিক্ষণ FLOPs বক্ররেখা ফিট করেছে। তারপর DeepSeek-V4-Pro-Base-এর BPB-র সমান হতে নিজেদের পদ্ধতিতে কত গণনা লাগবে তা অনুমান করে তুলনামূলক মডেলের ঘোষিত প্রশিক্ষণ গণনার সঙ্গে মিলিয়েছে। Microsoft বলছে, সমান হওয়ার বিন্দুগুলি ফিট করা মডেলের পরিসরের ভিতরে, তার বাইরে বহির্প্রক্ষেপণ করা নয়।

এই পরিসর ওই মূল্যায়নে Microsoft-এর পদ্ধতির জন্য *সমান লসে অনুমান* বোঝায়। এটি MAI-Base-2-এর প্রকৃত প্রশিক্ষণ বিলের মাপা হ্রাস নয়, ইনফারেন্সের গতি বৃদ্ধি নয়, কিংবা অন্য পরীক্ষাগার একই ফল পাবে তার প্রমাণ নয়। নিজেদের MAI-Base-1-এর তুলনায় আনুমানিক 6.3–12.7× FLOPs দক্ষতা বৃদ্ধিও Microsoft জানিয়েছে। উভয় ক্ষেত্রেই সংখ্যা বোঝার জন্য পাঠকের বেছে নেওয়া তুলনামূলক ভিত্তি, মূল্যায়ন সেট ও ফিটিং পদ্ধতি জানা দরকার।

মূল প্রশিক্ষণ চালনার জন্য Microsoft আরও দুটি সংখ্যা দেয়: গড় মডেল FLOPs ব্যবহার (MFU) 21% এবং goodput 89%; এখানে goodput হল যে সময়ে প্রশিক্ষণ এগিয়েছে তার অংশ। প্রতিবেদন BF16-এ প্রতি GB200-এর তাত্ত্বিক 2.5 PFLOPS ধরে MFU স্বাভাবিকীকরণ করে এবং রিম্যাটেরিয়ালাইজেশন ও অপটিমাইজারের FLOPs বাদ দেয়। MFU বলে প্রশিক্ষণ গণনা সেই তাত্ত্বিক ক্ষমতার কতটা ব্যবহার করেছে; goodput বলে অতিবাহিত সময়ে বাধা ও অগ্রগতি সম্পর্কে। কোনোটিই একই BPB-তে FLOPs দক্ষতার অনুপাত নয়। নকশার সিদ্ধান্ত মূল্যায়নে Microsoft প্রশিক্ষণ FLOPs-এ মাপা লাভ ও প্রকৃত অতিবাহিত সময়ে মাপা লাভকে স্পষ্টভাবে আলাদা করে।

## যে পদ্ধতি ফল এনেছে বলে Microsoft জানায়

প্রতিবেদন যুক্তিসংগত প্রক্রিয়ার সঙ্গে প্রমাণের সীমাও দেয়। বিভিন্ন মাপের পরীক্ষার ধারায় ছোট প্রশিক্ষণের অনন্য নমুনা সীমিত রাখা হয়, যাতে ডেটাসেট পূর্ণ প্রশিক্ষণের মতো একই সংখ্যক বার পুনরাবৃত্ত হয়। Microsoft বলছে, এতে ছোট পরীক্ষা সেই সিদ্ধান্তকে প্রাধান্য দেয়নি যা বড় মাপে ওভারফিট করত। লার্নিং রেট, ওয়েট ডিকে ও ড্রপআউটের অভিজ্ঞতাভিত্তিক স্কেলিং নিয়মও বর্ণনা করা হয়েছে, যা পূর্ণ প্রশিক্ষণের আগে মাঝারি মাপের মডেলে পরীক্ষা করা হয়েছিল।

স্পার্স মডেলে Microsoft-এর মতে, এক্সপার্ট রাউটিং, স্থির মেমরির ক্ষমতা ও দলবদ্ধ যোগাযোগের পরিবর্তন MoE স্তরের MFU 24% থেকে 35% করেছে, ফলে সব স্তরে MoE ব্যবহার সম্ভব হয়েছে। এটি উপাদানস্তরের অভ্যন্তরীণ মাপ; পুরো 38 দিনের প্রশিক্ষণের 21% গড় MFU নয়। প্রতিবেদন অপটিমাইজারের কাজের বিবরণ দেয়, যার পর Muon-এ 165 মিলিসেকেন্ড, অর্থাৎ গড় প্রশিক্ষণ ইটারেশনের 2.1% সময় লেগেছে; প্রশিক্ষণ স্থিতিশীল করতে অ্যাক্টিভেশন-গ্রেডিয়েন্ট ক্লিপিংও ব্যবহৃত হয়েছে। ডেটা অংশের মতে অনন্য টোকেনের কর্পাস MAI-Base-1 থেকে প্রায় 36% বেড়েছে। এতে 4.5 ট্রিলিয়ন অনন্য ভিশন-ল্যাঙ্গুয়েজ টোকেনের কথা বলা হয়েছে; পুনরাবৃত্তিসহ ভিশন-ল্যাঙ্গুয়েজ ডেটা 50 ট্রিলিয়ন টোকেনের প্রশিক্ষণ মিশ্রণের 18% ছিল।

এই বিবরণগুলি Microsoft কীভাবে বড় মাপের কাজ করেছে, তার উপযোগী প্রকৌশল বর্ণনা হিসেবে পত্রটিকে মূল্যবান করে। স্বাধীনভাবে পুনরাবৃত্ত প্রশিক্ষণের মাধ্যমে প্রতিটি পরিবর্তনের কারণগত অবদান এগুলি আলাদা করে না। Microsoft ফলের কৃতিত্ব দেয় ডেটার মান ও মডেলিংয়ের সিদ্ধান্তকে; বাইরের দল কেবল প্রতিবেদন থেকে সেই প্রভাবগুলি প্রতিষ্ঠা করতে পারে না। সরাসরি প্রমাণ হল সম্পূর্ণ বেস মডেল, Microsoft-এর বেছে নেওয়া আলাদা রাখা ডেটার লস এবং ফিট করা পদ্ধতি-দক্ষতার বিশ্লেষণ। পণ্যের কর্মক্ষমতা পরের চেকপয়েন্টে আলাদা মাপের বিষয়।

## সূত্র ও আরও পড়ুন

- [Microsoft AI, ‘Microsoft AI-এ অগ্রসীমার প্রাক্‌প্রশিক্ষণ’](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/), 15 অক্টোবর, 2026। স্থাপত্য, প্রশিক্ষণ চালনা, আলাদা রাখা BPB তুলনা, ফিট করা গণনাদক্ষতার পরিসর, ব্যবহার, ডেটা ও ঘোষিত প্রকাশপর্যায়ের কোম্পানির নিজস্ব প্রযুক্তিগত প্রতিবেদন। এখানকার সব মাপ ও বাস্তবায়নের প্রভাব Microsoft-এর জানানো; BIG CHANGE প্রশিক্ষণ পুনরাবৃত্ত করেনি বা MAI-Base-2 মূল্যায়ন করেনি।

## Sources

- [Microsoft AI: Microsoft AI-এ অগ্রসীমার প্রাক্‌প্রশিক্ষণ](https://microsoft.ai/news/frontier-pre-training-at-microsoft-ai/) — কোম্পানির নিজস্ব প্রযুক্তিগত প্রতিবেদন; সব পরিমাণগত দাবি ও বাস্তবায়নের বিবরণের সূত্র। কর্মক্ষমতা ও প্রক্রিয়া Microsoft-এর জানানো, স্বাধীনভাবে পুনরাবৃত্ত নয়।