NVIDIA ने प्रसिद्ध केलेले Nemotron 3.5 Super VL मॉडेलचे वेट्स 15 ऑक्टोबरला उपलब्ध झाले. हे व्हिजन-लँग्वेज मॉडेल मजकूर, प्रतिमा आणि व्हिडिओतील निवडक फ्रेम्स स्वीकारते व मजकूर तयार करते. दस्तऐवज किंवा प्रतिमा वाचणाऱ्या, टूल कॉल करणाऱ्या आणि निकालावरून पुढे जाणाऱ्या एजंटचा तर्कशक्ती घटक म्हणून विकासक ते वापरू शकतात. या प्रकाशनातून त्यांना मॉडेलची प्रत आणि सर्व्हिंग सूचना मिळतात; विशिष्ट कामाच्या ठिकाणी असा एजंट किती विश्वासार्ह काम करेल हे यातून सिद्ध होत नाही.

मोठा बदल

  • काय बदलले: NVIDIA ने पोस्ट-ट्रेनिंग केलेले मॉडेल प्रसिद्ध केले आहे. ते एकाच वेट्स-संचात दृश्य इनपुट, मजकूराधारित तर्क आणि टूल वापर एकत्र करते. दस्तऐवजानुसार त्याचा आउटपुट मजकूर आहे; त्यामुळे टूल्स पुरवणे आणि मॉडेलला काय करता येईल ते ठरवणे अजूनही ॲप्लिकेशनचे काम आहे.
  • हे महत्त्वाचे का: दस्तऐवज किंवा व्हिडिओ कार्यप्रवाह तयार करणारा विकासक दृश्य अर्थ लावणे हा वेगळा टप्पा मानण्याऐवजी दृश्य पुरावे आणि त्यानंतरचे टूल कॉल यांसाठी एकाच मॉडेलचे मूल्यमापन करू शकतो. फायदा विकासकाच्या स्वतःच्या सामग्री व परवानग्यांसह मिळणाऱ्या निकालांवर अवलंबून असतो.
  • पुढे काय पाहावे: प्रसिद्ध केलेल्या कार्यपद्धतींमुळे मूल्यमापन शक्य होते; मात्र NVIDIA च्या प्रशिक्षण मार्गदर्शकानुसार काही पोस्ट-ट्रेनिंग डेटा आणि घटक अजून उपलब्ध नाहीत. केवळ प्रकाशनावेळच्या तुलनांपेक्षा स्वतंत्र, विशिष्ट कामांसाठीचे निकाल मॉडेलच्या उपयुक्ततेबद्दल अधिक सांगतील.

NVIDIA ने काय प्रसिद्ध केले

हे BF16 मॉडेल कार्ड पोस्ट-ट्रेनिंग चेकपॉइंटला आवृत्ती 1.0 GA असे लेबल देते आणि Hugging Face वरील प्रकाशन तारीख 15 ऑक्टोबर नमूद करते. NVIDIA ने अधिक संक्षिप्त इन्फरन्ससाठी एक NVFP4 क्वांटाइझ केलेला चेकपॉइंट देखील प्रसिद्ध केला. मॉडेलमध्ये एकूण 120 अब्ज पॅरामीटर्स असून प्रत्येक टोकनसाठी सुमारे 12 अब्ज सक्रिय असतात. NVIDIA चे संशोधन पान 14 ऑक्टोबरला उपलब्ध झाले आणि त्यात Super व Lightning या व्यापक मॉडेल्सचे वर्णन आहे; ते आधीचे संशोधन प्रकाशन आणि 15 ऑक्टोबरचे वेट्स प्रकाशन वेगवेगळे आहेत.

कार्डमध्ये परवाना म्हणून OpenMDW 1.1 नमूद आहे आणि त्या अटींनुसार चेकपॉइंट व्यावसायिक व अव्यावसायिक वापरासाठी तयार असल्याचे म्हटले आहे. BF16 वेट्स कस्टमायझेशन आणि पूर्ण अचूकतेतील मूल्यमापनासाठी, तर NVFP4 प्रकार अधिक कार्यक्षम सर्व्हिंगसाठी मांडला आहे. NVIDIA ची प्रशिक्षण कार्यपद्धती बेस वेट्स, डेटा व कार्यपद्धतीही सूचीबद्ध करते; मात्र Super 3.5 साठी वापरलेला सुपरवाइज्ड फाइन-ट्यूनिंग आणि रीइन्फोर्समेंट-लर्निंग डेटा अजून प्रसिद्ध झालेला नसल्याचा इशारा देते. टीचर मॉडेल आणि दृश्य तर्काच्या काही टप्प्यांना सार्वजनिक नसलेले घटक लागतात. त्यामुळे प्रसिद्ध सामग्री NVIDIA च्या संपूर्ण प्रशिक्षण प्रक्रियेची पुनरावृत्ती करण्याइतकी नाही.

एजंट हे कसे वापरू शकतो

NVIDIA च्या दस्तऐवजात मजकूर, JPEG किंवा PNG प्रतिमा आणि जास्तीत जास्त दोन मिनिटांचा MP4 व्हिडिओ हे इनपुट नमूद आहेत. दस्तऐवज सोबतच्या मजकुरासह पानांच्या प्रतिमा म्हणून देता येतात. आउटपुट ही मजकुराची स्ट्रिंग असते; त्यात उत्तर किंवा ॲप्लिकेशनने हाताळायचा टूल कॉल असू शकतो. मॉडेल कार्डमधील API उदाहरणे vLLM वापरून स्थानिक पातळीवर सर्व्ह केलेला OpenAI-सुसंगत चॅट एंडपॉइंट दाखवतात; त्यात प्रतिमा, व्हिडिओ आणि टूल कॉलची उदाहरणे आहेत. हा विकासकांसाठी इंटरफेस आहे, तयार दस्तऐवज-प्रक्रिया किंवा घटना-प्रतिसाद उत्पादन नाही.

NVIDIA चा प्रकाशन लेख दस्तऐवजांतून माहिती काढणे, चार्टचा अर्थ लावणे आणि व्हिडिओचे पुनरावलोकन हे अपेक्षित उपयोग सांगतो. त्यानुसार Ramp पावत्यांच्या प्रतिमा संरचित JSON मध्ये रूपांतरित करत असून थ्रूपुट 50% पर्यंत अधिक व लेटन्सी दहापट कमी होण्याची अपेक्षा आहे. NVIDIA म्हणते की Scale AI ने Skydance मधील पुरवठादार-क्रेडिट प्रक्रियेसाठी मॉडेलचे पोस्ट-ट्रेनिंग केले; त्या कार्यभारात इन्फरन्स खर्च 40 पट कमी आणि लेटन्सी पाचपट कमी होण्याचा अंदाज आहे. हे NVIDIA च्या वृत्तांतातील विशिष्ट भागीदारांचे दावे व अपेक्षा आहेत; ते BIG CHANGE ने मोजलेले निकाल नाहीत, आणि सर्वसाधारण तैनातीत असेच फायदे होतील याचा पुरावाही नाही.

हार्डवेअर, खर्च आणि मर्यादा

BF16 कार्ड चार H100 GPU किंवा दोन GB200 GPU साठी vLLM कॉन्फिगरेशन देते. NVFP4 कार्ड अधिक संक्षिप्त कॉन्फिगरेशन नमूद करते: मजकूर व प्रतिमांसाठी एक DGX Spark आणि मजकूर, प्रतिमा व व्हिडिओसाठी एक H200 किंवा GB200. कमाल संदर्भ दहा लाख टोकन्सचा दिला आहे; मात्र उपलब्ध GPU मेमरी आणि समांतर कामांच्या प्रमाणात बसण्यासाठी स्वतंत्र सर्व्हिंग कार्यपद्धती लहान कॉन्टेक्स्ट विंडो वापरू शकतात, असा इशारा कार्ड देतात. व्हिडिओ कार्यपद्धती अमर्याद फुटेजवर प्रक्रिया न करता फ्रेम्सचे नमुने घेते; तिची उदाहरणे एक ते दोन मिनिटांच्या क्लिप्सपासून सुरू होतात.

वेट्सना परवाना अटी आहेत; तरी ते चालवण्यासाठी योग्य GPU क्षमता आणि सॉफ्टवेअर लागते. उद्धृत मॉडेल कार्ड सेल्फ-होस्टेड इन्फरन्सची एक ठराविक डॉलर किंमत देत नाहीत; या पुनरावलोकनात NVIDIA च्या प्रकाशन लेखातील होस्टेड प्रवेश दुव्यावरही सार्वजनिक किंमत दिसली नाही. खर्च निवडलेल्या हार्डवेअर किंवा पुरवठादारावर व प्रत्यक्ष कार्यभारावर अवलंबून असेल. NVIDIA चांगले बेंचमार्क आणि थ्रूपुट निकाल सांगते; प्रकाशन लेखात एका GPU वरील थ्रूपुट पाचपटपर्यंत असल्याची तुलनाही आहे. ती तुलना नमूद एंडपॉइंट, कार्यभार आणि आधाररेषांवर अवलंबून आहे; ती वाचकाच्या ॲप्लिकेशनचा मोजलेला खर्च किंवा वेग नाही.

या प्रकाशनाचे मूल्यमापन करणाऱ्या विकासकांनी एजंटला कार्यकारी अधिकार देण्यापूर्वी स्वतःचे दस्तऐवज, क्लिप्स, टूल परवानग्या आणि त्रुटी हाताळणी तपासावी. NVIDIA चे मॉडेल कार्डही वापराच्या विशिष्ट प्रकरणानुसार प्रणाली चाचणी करण्यास सांगते. BIG CHANGE ने प्रसिद्ध मॉडेल सामग्री व दस्तऐवज पाहिले आहेत, पण मॉडेल चालवलेले नाही.

स्रोत आणि पुढील वाचन

  • NVIDIA तांत्रिक ब्लॉग, 15 ऑक्टोबर: प्रकाशन वृत्तांत, प्रस्तावित उपयोग, भागीदारांचे दावे आणि विक्रेत्याच्या थ्रूपुट तुलना. भागीदारांचे अंदाज व NVIDIA बेंचमार्क यांचे स्रोत वर नमूद आहेत.
  • NVIDIA Nemotron संशोधन पान, 14 ऑक्टोबर: व्यापक मॉडेल कुटुंब, संशोधन अहवाल आणि जोडलेले चेकपॉइंट यांचे वर्णन करते. त्याची प्रकाशन तारीख मॉडेल कार्डच्या प्रकाशनापूर्वीची आहे.
  • BF16 मॉडेल कार्ड आणि NVFP4 मॉडेल कार्ड, दोन्ही 15 ऑक्टोबरचे: आवृत्ती, परवाना, इनपुट व आउटपुट, सर्व्हिंग उदाहरणे आणि हार्डवेअर कॉन्फिगरेशन. कार्ड NVIDIA चे स्वतःचे दस्तऐवज आहेत, स्वतंत्र प्रत्यक्ष चाचण्या नाहीत.
  • NVIDIA प्रशिक्षण कार्यपद्धती: प्रसिद्ध चेकपॉइंट व कार्यपद्धती आणि अजून सार्वजनिक व्हायचा पोस्ट-ट्रेनिंग डेटा व घटक यांतील फरक स्पष्ट करते.