Ai2 ১ অক্টোবর Olmo-core 3 প্রকাশ করে—মিশ্র-এক্সপার্ট (MoE) ভাষা মডেলের জন্য একটি উন্মুক্ত প্রশিক্ষণ কাঠামো। সিস্টেম প্রকৌশলীর কাছে সবচেয়ে কার্যকর ফলটি ট্রিলিয়ন-প্যারামিটারের শিরোনামের চেয়ে সীমিত: Ai2 কোড, রেফারেন্স কনফিগারেশন এবং নির্দিষ্ট পরিসরের GPU পরিমাপ প্রকাশ করেছে, যাতে দলগুলো নির্দিষ্ট ক্লাস্টারে এই স্ট্যাক পরীক্ষা করা সার্থক কি না ঠিক করতে পারে।

MoE প্রতিটি টোকেনকে তার বিশেষজ্ঞ নেটওয়ার্কের একটি উপসেটে পাঠায়। এতে প্রতি টোকেনের গণনা সীমিত হয়, কিন্তু পুরো বিশেষজ্ঞ-পুল ও তার অপ্টিমাইজারের অবস্থা GPU-তে জায়গা নেয়। বিশেষজ্ঞদের কাছে টোকেন পাঠাতেও সময় লাগে। Olmo-core 3 এই দুই সীমাবদ্ধতা সামলানোর Ai2-এর পদ্ধতি বদলায়: DDP-ভিত্তিক সিস্টেম বিশেষজ্ঞদের GPU-তে রেখেই তাদের কাছে ডেটা পাঠায়; আগের FSDP-ভিত্তিক বাস্তবায়নে মাইক্রোব্যাচের জন্য ওজন বারবার একত্র ও পুনর্বণ্টন করা হতো। নতুন স্ট্যাকে বিশেষজ্ঞ ও পাইপলাইন সমান্তরালতা, বিতরণকৃত অপ্টিমাইজার অবস্থা, GPU-তে স্থায়ী রাউটিং এবং দলবদ্ধ বিশেষজ্ঞ গণনা যুক্ত হয়েছে। নির্বাচিত কাজে Ai2 MXFP8-ও সমর্থন করে। এগুলো দল পরীক্ষা ও কনফিগার করতে পারে এমন নকশাগত সিদ্ধান্ত, অন্য ক্লাস্টারে একই গতি পাওয়ার প্রতিশ্রুতি নয়।

বড় পরিবর্তন

Olmo-core 3 Ai2-এর বৃহৎ MoE প্রশিক্ষণ সরঞ্জাম Apache 2.0 কোড ও রেফারেন্স স্ক্রিপ্ট হিসেবে দেয়। আটটি B300 নিয়ে নির্দিষ্ট তুলনায় পুরোনো স্ট্যাকের চেয়ে বেশি থ্রুপুট এবং এলোমেলো রাউটিংসহ ১.২-ট্রিলিয়ন-প্যারামিটারের কনফিগারেশন ৫১২টি B300-তে চালানোর সক্ষমতা Ai2-এর পরীক্ষায় দেখা যায়। এতে ওই মাপের প্রশিক্ষিত মডেলের মান বা পাঠকের কাজের গতি প্রতিষ্ঠিত হয় না। ব্যবহারিক লাভ হলো যাচাইযোগ্য সূচনা: কনফিগারেশন পুনরায় চালানো, স্থানীয় বাধা মাপা, এবং কোন সমান্তরালতা ও নির্ভুলতার সেটিং ব্যয়বহুল প্রশিক্ষণকে ন্যায্য করে তা বিচার করা।

তিনটি সংখ্যা, তিনটি হর

Ai2-এর ৪৭-বিলিয়ন-প্যারামিটারের MoE-এর প্রাথমিক তুলনা আটটি Nvidia B300 GPU-তে চলে। নতুন স্ট্যাক প্রতি সেকেন্ডে ৫২,০০০ টোকেন প্রক্রিয়াকরণ করে প্রতি GPU-তে, আগের FSDP-ভিত্তিক বাস্তবায়নে ছিল ১৯,৪০০। অনুপাত ৫২,০০০ ÷ ১৯,৪০০ = ২.৬৮, অর্থাৎ গোল করে ২.৭ গুণ। এটি পুরোনো ও নতুন স্ট্যাকের অভ্যন্তরীণ তুলনা; Megatron-Core-এর সঙ্গে পরিমাপ বা কেবল DDP-এর বিশুদ্ধ অ্যাবলেশন নয়। ট্যাগযুক্ত উদাহরণের সবচেয়ে কাছের DDP+বিশেষজ্ঞ-সমান্তরাল বনাম FSDP/HSDP তুলনায় মডেলের আকার ও পরিমাপের সময় এক রাখা হয়েছে, কিন্তু রাউটার, স্পার্স কার্নেল, অপ্টিমাইজার ও অন্যান্য বাস্তবায়নও বদলেছে।

“৫%-এর কম” ফলটি অন্য প্রশ্নের উত্তর। Ai2 বিশেষজ্ঞ-পুল ৮ থেকে ১২৮ করেছে এবং প্রতি টোকেনে চারটি বেছে নিয়েছে। মোট ধারণক্ষমতা ৪.৬ বিলিয়ন থেকে ৪৭ বিলিয়ন প্যারামিটারে উঠেছে, অথচ প্রতি টোকেনে সক্রিয় প্যারামিটার প্রায় ৩.২ বিলিয়ন ছিল। এই দুই বিশেষজ্ঞ-পুল কনফিগারেশনের মধ্যে থ্রুপুট ৫%-এর কম কমেছে এই দুই বিশেষজ্ঞ-পুল কনফিগারেশনের মধ্যে। এর মানে নতুন স্ট্যাক পুরোনোটির চেয়ে মাত্র ৫% ধীর, বা সব সেটিংয়ে ১৬ গুণ বেশি বিশেষজ্ঞ বিনা খরচে যোগ করা যায়—এমন নয়। পাঠকের ডলারে খরচ হিসাব করতে প্রকাশনায় যথেষ্ট তথ্য নেই।

স্কেল ফলের তৃতীয় হর আছে: মোট ১.২ ট্রিলিয়ন প্যারামিটার ও প্রতি টোকেনে ৫৮.৩৬ বিলিয়ন সক্রিয় প্যারামিটারের কনফিগারেশনে ৫১২টি B300 GPU-তে Ai2 সর্বোচ্চ পর্যবেক্ষিত ৮৫৮ TFLOP/s প্রতি GPU-তে জানায়। v3.0.0 রেফারেন্স টেবিলে Ultra-128E সারিটি এলোমেলো রাউটিং, MXFP8 ও প্রতি-স্তরের পুনর্গণনা হিসেবে চিহ্নিত। এলোমেলো রাউটিং সিস্টেম পথ মাপে; শেখা রাউটার ভালো মডেল তৈরি করে কি না তা পরীক্ষা করে না। ২.৩৮-ট্রিলিয়ন-প্যারামিটারের কনফিগারেশন ছোট ধারণক্ষমতা পরীক্ষায় DeepEP v2 ব্যবহার করেছে। Ai2 একে স্কেল যাচাই বলে, দীর্ঘস্থায়ী প্রশিক্ষণ নয়। কোনো সংখ্যাই প্রশিক্ষিত মডেলের নির্ভুলতা, কার্যকর আউটপুটের মান বা পূর্ণ প্রশিক্ষণের স্থিতিশীল অর্থনীতি প্রমাণ করে না।

চারটি B300-তে নিয়ন্ত্রিত তুলনাও Ai2 জানায়: BF16-এর বিপরীতে MXFP8 শুরু থেকে শেষ পর্যন্ত প্রশিক্ষণ থ্রুপুট প্রায় ২১% বাড়িয়েছে এবং সর্বোচ্চ সক্রিয় মেমরি ১০৩ GiB থেকে ৯৫ GiB-তে নামিয়েছে; কাজ বিশেষজ্ঞদের মধ্যে সমানভাবে ভাগ ছিল। ফলটি শুধু পরীক্ষিত নির্ভুলতা বিকল্প ও কাজের ক্ষেত্রে প্রযোজ্য। দুই পরিমাপের ভিত্তি একই ছিল এমন ধরে ২.৭-গুণ সংখ্যার সঙ্গে এটি যোগ করা যাবে না।

প্রকৌশলী বাস্তবে কী পরীক্ষা করতে পারেন

১ অক্টোবরের রিপোজিটরি v3.0.0 Apache 2.0 লাইসেন্সে প্রকাশ্য। লক্ষ্য OS ও হার্ডওয়্যারের জন্য আগে PyTorch ইনস্টল করে, তারপর PyPI থেকে ai2-olmo-core ইনস্টল করতে অথবা উন্নয়নের জন্য ক্লোন করা রিপোজিটরি ব্যবহার করতে README বলে। ট্যাগযুক্ত src/examples/olmo_ddp/README.md রিপোর্ট করা অপারেটিং পয়েন্টগুলোকে স্ক্রিপ্টে যুক্ত করে এবং torchrun সাধারণ চালুর পথ হিসেবে নথিভুক্ত করে। প্রোডাকশন স্ক্রিপ্ট প্রতি নোডে আটটি GPU ধরে এবং নোডের সংখ্যা REF_NUM_NODES-এ দেয়। এগুলো আগে থেকেই বিতরণকৃত GPU পরিবেশ আছে এমন লোকদের উদাহরণ; Ai2-এর B300 ফল এক কমান্ডে পুনরুৎপাদনের পথ নয়।

রিপোর্ট স্ক্রিপ্টে গুরুত্বপূর্ণ প্রবেশাধিকার দরকার। README-তে beaker অতিরিক্ত প্যাকেজ, FlashAttention 4, লেখার অনুমতি আছে এমন /workspace এবং Ai2-এর s3://ai2-llm ডেটা মিশ্রণে পড়ার অনুমতি উল্লেখ আছে; DeepEP v2 পথে DeepEP রিপোজিটরির কপিও দরকার। Ai2-এর মূল README বলে, প্রকাশ্য Docker ইমেজে নির্ভরতা আছে কিন্তু Olmo-core প্যাকেজ নেই; অন্য হার্ডওয়্যার বা ড্রাইভার/CUDA সংস্করণে ইমেজ মানিয়ে নিতে হতে পারে। v3.0.0 সর্বনিম্ন সমর্থিত PyTorch 2.10.0 করেছে। আমরা নথি ও ট্যাগযুক্ত রেফারেন্স টেবিল দেখেছি; BIG CHANGE প্যাকেজ ইনস্টল করেনি, ডেটা মিশ্রণে প্রবেশাধিকার পায়নি, GPU সংরক্ষণ করেনি বা প্রশিক্ষণ কাজ চালায়নি।

স্থানীয় মূল্যায়নে লক্ষ্য মডেলের আকার ও উপলভ্য হার্ডওয়্যারের কাছের ট্যাগযুক্ত রেফারেন্স সারি দিয়ে শুরু করুন; গণনা সংরক্ষণের আগে প্রতিটি নির্ভরতা ও অপ্রবেশযোগ্য ডেটা পথ হিসাব করুন। একই সিকোয়েন্স দৈর্ঘ্য, ব্যাচ, রাউটিং, নির্ভুলতা ও পরিমাপ সময়ে প্রতি GPU-তে প্রতি সেকেন্ডের টোকেন তুলনা করুন; পিক মেমরি ও চেকপয়েন্ট আচরণ আলাদা পর্যবেক্ষণ করুন। প্রকাশিত প্রোডাকশন সারিতে সিকোয়েন্স দৈর্ঘ্য ৮,১৯২, top-four রাউটিং ও একটি ভাগ করা বিশেষজ্ঞ আছে। Tiny ও Small-এর শেখা-রাউটিং সহায়ক স্ক্রিপ্ট আছে; বড় শিরোনাম সারিগুলো এলোমেলো রাউটিং ব্যবহার করে। দলের শেখা-রাউটিং ডেটা বণ্টন যোগাযোগের ভারসাম্য ও থ্রুপুট বদলাতে পারে, তাই পূর্ণ রান অনুমানের আগে প্রতিনিধিত্বশীল পাইলট দরকার।

খরচের সীমা সফটওয়্যারের পাশাপাশি ভৌতও। আলোচিত আট-GPU তুলনায় আটটি B300 লাগে; সর্বোচ্চ থ্রুপুট ফল ৫১২টি ব্যবহার করেছে। Ai2 প্রকাশনায় সাধারণ ঘণ্টাপ্রতি ভাড়ার দাম বা পূর্ণ প্রশিক্ষণ বাজেট দেয়নি। Apache 2.0 এই কোডের সফটওয়্যার লাইসেন্স ফি সরায়, কিন্তু GPU, সামঞ্জস্যপূর্ণ ড্রাইভার, উল্লিখিত ডেটা প্রবেশাধিকার বা অপারেটরের সময় দেয় না। রেফারেন্স README-ও বলে, রিপোর্টের দুই-ব্যাচ ওভারল্যাপ পরিমাপটি merge-এর আগের শাখা ব্যবহার করেছে এবং ট্যাগযুক্ত স্ক্রিপ্টে পুনরুৎপাদনযোগ্য নয়।

উন্মুক্ত সিস্টেমের উপকার হলো বাস্তব কনফিগারেশনের সঙ্গে তার দাবিগুলো যাচাই করা যায়। Ai2-এর প্রকাশনা এমন ঘটনার সারাংশ দেয় যেখানে দেখতে ভালো রাউটিং-ভারসাম্য স্কোর কম ভারসাম্যপূর্ণ কাজ আড়াল করেছে, এবং যোগাযোগ ও গণনা একসঙ্গে চালাতে গিয়ে প্রশিক্ষণ ধীর হয়েছে। এসব কারণে স্থানীয় পরিমাপ পরিকল্পনা আরও জরুরি: দ্রুত কার্নেল বা অনুকূল একক মেট্রিক শুরু-থেকে-শেষ প্রশিক্ষণের ফল নয়। Ai2 বলছে পরবর্তী Olmo প্রজন্ম MoE স্থাপত্য নেবে; ভবিষ্যৎ মডেলের মান যাচাইয়ের আগেই এই প্রকাশনা প্রশিক্ষণ স্ট্যাক ও সিস্টেম পরিমাপ দেয়।

সূত্র ও আরও পড়ুন

  • Ai2-এর ১ অক্টোবরের প্রকাশনা স্থাপত্য ব্যাখ্যা করে এবং সীমিত থ্রুপুট, মেমরি ও স্কেল সংখ্যা দেয়। সংখ্যাগুলো Ai2-এর পরিমাপ; BIG CHANGE পুনরায় চালায়নি।
  • Olmo-core v3.0.0 প্রকাশনা ট্যাগযুক্ত সংস্করণ, ১ অক্টোবরের তারিখ, PyTorch ন্যূনতম সংস্করণ ও কোড পরিবর্তন নিশ্চিত করে। রিপোজিটরি README ইনস্টলেশন, ঐচ্ছিক নির্ভরতা ও Docker ইমেজের সতর্কতা নথিভুক্ত করে।
  • ট্যাগযুক্ত MoE রেফারেন্স-স্ক্রিপ্ট নির্দেশিকা রিপোর্ট কনফিগারেশনকে GPU সংখ্যা, রাউটিং ও নির্ভুলতার সঙ্গে যুক্ত করে এবং পুরোনো-নতুন স্ট্যাক তুলনার সীমা ব্যাখ্যা করে। প্রযুক্তিগত প্রতিবেদন সিস্টেম পরীক্ষার মূল বিবরণ; গবেষণা পরিবেশে PDF পাওয়া যায়নি, তাই বিস্তারিত দাবি Ai2-এর পাঠযোগ্য প্রকাশনা ও ট্যাগযুক্ত স্ক্রিপ্টের ওপর নির্ভর করে।