NVIDIA প্রকাশ করেছে Nemotron 3.5 Super VL মডেল ওয়েট ১৫ অক্টোবর। ভিশন-ল্যাঙ্গুয়েজ মডেলটি টেক্সট, ছবি ও ভিডিও থেকে নমুনা নেওয়া ফ্রেম গ্রহণ করে এবং টেক্সট তৈরি করে। ডেভেলপাররা একে এমন এজেন্টের যুক্তি করার অংশ হিসেবে ব্যবহার করতে পারেন, যা নথি বা ছবি পড়ে, টুল কল করে এবং ফল থেকে কাজ এগিয়ে নেয়। এই প্রকাশ মডেলের আর্টিফ্যাক্ট ও সার্ভিং নির্দেশনা দেয়; নির্দিষ্ট কর্মক্ষেত্রে এমন এজেন্ট কতটা নির্ভরযোগ্য তা প্রমাণ করে না।
বড় পরিবর্তন
- কী বদলেছে: NVIDIA একটি পোস্ট-ট্রেইনড মডেল প্রকাশ করেছে, যা একই ওয়েট সেটে ভিজুয়াল ইনপুট, টেক্সটভিত্তিক যুক্তি ও টুল ব্যবহার যুক্ত করে। নথিতে এর আউটপুট টেক্সট বলা হয়েছে, তাই টুল সরবরাহ ও মডেল কী করতে পারবে তা ঠিক করার দায় এখনও অ্যাপ্লিকেশনের।
- কেন গুরুত্বপূর্ণ: নথি বা ভিডিওর কর্মপ্রবাহ তৈরি করা ডেভেলপার ভিজুয়াল ব্যাখ্যাকে আলাদা ধাপ না ধরে, দৃশ্যমান প্রমাণ ও পরের টুল কল জুড়ে একটি মডেল মূল্যায়ন করতে পারেন। লাভ নির্ভর করে তাঁর নিজের উপকরণ ও অনুমতি দিয়ে পাওয়া ফলের ওপর।
- কী দেখতে হবে: প্রকাশিত রেসিপি মূল্যায়নের সুযোগ দেয়, কিন্তু NVIDIA-র প্রশিক্ষণ গাইড বলছে কিছু পোস্ট-ট্রেইনিং ডেটা ও উপাদান এখনও অনুপলব্ধ। শুধু উদ্বোধনের তুলনার চেয়ে স্বাধীন, নির্দিষ্ট কাজের ফল মডেলের উপযোগিতা সম্পর্কে বেশি জানাবে।
NVIDIA কী প্রকাশ করেছে
এই BF16 মডেল কার্ড পোস্ট-ট্রেইনড চেকপয়েন্টকে সংস্করণ 1.0 GA হিসেবে চিহ্নিত করে এবং Hugging Face প্রকাশের তারিখ দেয় ১৫ অক্টোবর। আরও কমপ্যাক্ট ইনফারেন্সের জন্য NVIDIA একটি NVFP4 কোয়ান্টাইজড চেকপয়েন্টও প্রকাশ করেছে। মডেলে মোট ১২০ বিলিয়ন প্যারামিটার আছে; প্রতিটি টোকেনের জন্য প্রায় ১২ বিলিয়ন সক্রিয় থাকে। NVIDIA-র গবেষণা পৃষ্ঠা ১৪ অক্টোবর প্রকাশিত হয় এবং বিস্তৃত Super ও Lightning মডেলগুলোর বিবরণ দেয়; আগের সেই গবেষণা প্রকাশ ১৫ অক্টোবরের ওয়েট প্রকাশের থেকে আলাদা।
কার্ডগুলো লাইসেন্স হিসেবে OpenMDW 1.1 উল্লেখ করে এবং বলে ওই শর্তে চেকপয়েন্ট বাণিজ্যিক ও অবাণিজ্যিক ব্যবহারের জন্য প্রস্তুত। BF16 ওয়েট কাস্টমাইজেশন ও ফুল-প্রিসিশন মূল্যায়নের জন্য; NVFP4 ভ্যারিয়েন্ট আরও কার্যকর সার্ভিংয়ের জন্য। NVIDIA-র প্রশিক্ষণ রেসিপি বেস ওয়েট, ডেটা ও রেসিপিও তালিকাভুক্ত করে, তবে সতর্ক করে যে Super 3.5-এ ব্যবহৃত সুপারভাইজড ফাইন-টিউনিং ও রিইনফোর্সমেন্ট-লার্নিং ডেটা এখনও প্রকাশিত নয়। টিচার মডেল ও ভিশন-রিজনিংয়ের কিছু ধাপ অপ্রকাশিত উপাদানের ওপর নির্ভর করে। তাই প্রকাশিত উপকরণ NVIDIA-র পুরো প্রশিক্ষণ প্রক্রিয়া পুনরুৎপাদনের সমতুল্য নয়।
এজেন্ট কীভাবে এটি ব্যবহার করতে পারে
NVIDIA-র নথিতে টেক্সট, JPEG বা PNG ছবি এবং সর্বোচ্চ দুই মিনিটের MP4 ভিডিওকে ইনপুট বলা হয়েছে। সঙ্গে টেক্সট দিয়ে নথি পৃষ্ঠার ছবি হিসেবে দেওয়া যায়। আউটপুট একটি টেক্সট স্ট্রিং, যাতে উত্তর বা অ্যাপ্লিকেশনের সামলানোর জন্য টুল কল থাকতে পারে। মডেল কার্ডের API উদাহরণ vLLM দিয়ে স্থানীয়ভাবে সার্ভ করা OpenAI-সামঞ্জস্যপূর্ণ চ্যাট এন্ডপয়েন্ট দেখায়, যার মধ্যে ছবি, ভিডিও ও টুল কলিংয়ের উদাহরণ আছে। এটি ডেভেলপারদের ইন্টারফেস, তৈরি নথি-প্রক্রিয়াকরণ বা ঘটনা-প্রতিক্রিয়া পণ্য নয়।
NVIDIA-র উদ্বোধনী পোস্ট নথি থেকে তথ্য নিষ্কাশন, চার্ট ব্যাখ্যা ও ভিডিও পর্যালোচনাকে উদ্দিষ্ট ব্যবহার বলে। এতে বলা হয় Ramp রসিদের ছবি কাঠামোবদ্ধ JSON-এ রূপান্তর করছে এবং সর্বোচ্চ ৫০% বেশি থ্রুপুট ও দশ গুণ কম লেটেন্সি আশা করছে। NVIDIA বলছে Scale AI, Skydance-এর ভেন্ডর-ক্রেডিট প্রক্রিয়াকরণের জন্য মডেলটিকে পোস্ট-ট্রেইন করেছে; ওই কাজে ইনফারেন্স খরচ ৪০ গুণ ও লেটেন্সি পাঁচ গুণ কমার পূর্বাভাস আছে। এগুলো NVIDIA-র বিবরণে নির্দিষ্ট অংশীদারদের দাবি ও প্রত্যাশা, BIG CHANGE-এর মাপা ফল বা সাধারণ স্থাপনায় একই লাভ হবে তার প্রমাণ নয়।
হার্ডওয়্যার, খরচ ও সীমা
BF16 কার্ডে চারটি H100 GPU বা দুটি GB200 GPU-এর জন্য vLLM কনফিগারেশন আছে। NVFP4 কার্ড আরও কমপ্যাক্ট কনফিগারেশন দেয়: টেক্সট ও ছবির জন্য একটি DGX Spark, এবং টেক্সট, ছবি ও ভিডিওর জন্য একটি H200 বা GB200। সর্বোচ্চ কনটেক্সট দশ লাখ টোকেন বলা হয়েছে, যদিও কার্ড সতর্ক করে যে উপলব্ধ GPU মেমরি ও সমান্তরাল ব্যবহারের সঙ্গে মানাতে পৃথক সার্ভিং রেসিপি ছোট কনটেক্সট উইন্ডো নিতে পারে। ভিডিও রেসিপি সীমাহীন ফুটেজ প্রক্রিয়া না করে ফ্রেমের নমুনা নেয়; উদাহরণ শুরু হয় এক থেকে দুই মিনিটের ক্লিপ দিয়ে।
ওয়েটের লাইসেন্স শর্ত আছে, কিন্তু চালাতে উপযুক্ত GPU ক্ষমতা ও সফ্টওয়্যার এখনও দরকার। উদ্ধৃত মডেল কার্ডে সেল্ফ-হোস্টেড ইনফারেন্সের একক ডলার মূল্য নেই; এই পর্যালোচনায় NVIDIA-র উদ্বোধনী পোস্টের হোস্টেড-অ্যাক্সেস লিংকেও প্রকাশ্য দাম দেখা যায়নি। খরচ নির্ভর করবে নির্বাচিত হার্ডওয়্যার বা প্রদানকারী ও প্রকৃত কাজের চাপের ওপর। NVIDIA শক্তিশালী বেঞ্চমার্ক ও থ্রুপুট ফল জানায়; উদ্বোধনী পোস্টে একটি GPU-তে সর্বোচ্চ পাঁচ গুণ থ্রুপুটের তুলনাও আছে। তা উল্লিখিত এন্ডপয়েন্ট, কাজের চাপ ও ভিত্তির ওপর নির্ভরশীল; পাঠকের অ্যাপ্লিকেশনের মাপা খরচ বা গতি নয়।
এজেন্টকে কাজের কর্তৃত্ব দেওয়ার আগে ডেভেলপারদের নিজস্ব নথি, ক্লিপ, টুলের অনুমতি ও ত্রুটি সামলানো পরীক্ষা করা উচিত। NVIDIA-র মডেল কার্ডও নির্দিষ্ট ব্যবহারের জন্য সিস্টেম পরীক্ষা চায়। BIG CHANGE প্রকাশিত আর্টিফ্যাক্ট ও নথি পর্যালোচনা করেছে, কিন্তু মডেল চালায়নি।
উৎস ও আরও পড়ুন
- NVIDIA টেকনিক্যাল ব্লগ, ১৫ অক্টোবর: উদ্বোধনী বিবরণ, প্রস্তাবিত ব্যবহার, অংশীদারদের দাবি ও বিক্রেতার থ্রুপুট তুলনা। অংশীদারদের পূর্বাভাস ও NVIDIA বেঞ্চমার্কের উৎস ওপরে জানানো হয়েছে।
- NVIDIA Nemotron গবেষণা পৃষ্ঠা, ১৪ অক্টোবর: বিস্তৃত মডেল পরিবার, গবেষণা প্রতিবেদন ও লিংক করা চেকপয়েন্টের বিবরণ। প্রকাশের তারিখ মডেল কার্ডের প্রকাশের আগের।
- BF16 মডেল কার্ড এবং NVFP4 মডেল কার্ড, দুটিই ১৫ অক্টোবরের: সংস্করণ, লাইসেন্স, ইনপুট ও আউটপুট, সার্ভিং উদাহরণ ও হার্ডওয়্যার কনফিগারেশন। এগুলো NVIDIA-র নিজস্ব নথি, স্বাধীন মাঠপর্যায়ের পরীক্ষা নয়।
- NVIDIA প্রশিক্ষণ রেসিপি: প্রকাশিত চেকপয়েন্ট ও রেসিপিকে এখনও প্রকাশের অপেক্ষায় থাকা পোস্ট-ট্রেইনিং ডেটা ও উপাদান থেকে আলাদা করে।
