NVIDIA విడుదల చేసిన Nemotron 3.5 Super VL మోడల్ వెయిట్స్ అక్టోబర్ 15న అందుబాటులోకి వచ్చాయి. విజన్-లాంగ్వేజ్ మోడల్ టెక్స్ట్, చిత్రాలు, వీడియో నుంచి సాంపిల్ చేసిన ఫ్రేమ్‌లను స్వీకరించి టెక్స్ట్‌ను ఉత్పత్తి చేస్తుంది. పత్రం లేదా చిత్రాన్ని చదివి, టూల్‌ను పిలిచి, దాని ఫలితం నుంచి కొనసాగించే ఏజెంట్‌లో రీజనింగ్ భాగంగా డెవలపర్లు దీన్ని వాడవచ్చు. ఈ విడుదల మోడల్ ఆర్టిఫాక్ట్‌, సర్వింగ్ సూచనలను ఇస్తుంది; ఒక నిర్దిష్ట కార్యాలయంలో అలాంటి ఏజెంట్ ఎంత విశ్వసనీయంగా పనిచేస్తుందో నిర్ధారించదు.

పెద్ద మార్పు

  • ఏం మారింది: దృశ్య ఇన్‌పుట్, టెక్స్ట్ రీజనింగ్, టూల్ వినియోగాన్ని ఒకే వెయిట్స్ సమితిలో కలిపిన పోస్ట్-ట్రెయిన్డ్ మోడల్‌ను NVIDIA విడుదల చేసింది. డాక్యుమెంటేషన్ ప్రకారం అవుట్‌పుట్ టెక్స్ట్‌; కాబట్టి టూల్స్‌ను అందించడం, మోడల్ ఏం చేయవచ్చో నిర్ణయించడం ఇప్పటికీ అప్లికేషన్ బాధ్యతే.
  • ఎందుకు ముఖ్యం: పత్రాలు లేదా వీడియో వర్క్‌ఫ్లోలను నిర్మించే డెవలపర్ దృశ్య వివరణను విడి దశగా చూడకుండా, దృశ్య ఆధారాలు, తరువాతి టూల్ కాల్స్ అంతటా ఒకే మోడల్‌ను మూల్యాంకనం చేయవచ్చు. ప్రయోజనం తన సొంత మెటీరియల్, అనుమతులతో వచ్చే ఫలితాలపై ఆధారపడుతుంది.
  • ఏం గమనించాలి: విడుదలైన రెసిపీలు మూల్యాంకనానికి వీలు కల్పిస్తాయి; కానీ కొన్ని పోస్ట్-ట్రెయినింగ్ డేటా, భాగాలు ఇంకా అందుబాటులో లేవని NVIDIA శిక్షణ గైడ్ చెబుతోంది. విడుదల సమయంలోని పోలికల కంటే స్వతంత్రంగా, నిర్దిష్ట పనులకు వచ్చిన ఫలితాలు మోడల్ ఉపయోగాన్ని మరింత బాగా తెలుపుతాయి.

NVIDIA ఏం విడుదల చేసింది

ఈ BF16 మోడల్ కార్డ్ పోస్ట్-ట్రెయిన్డ్ చెక్‌పాయింట్‌ను 1.0 GA వెర్షన్‌గా గుర్తించి, Hugging Face విడుదల తేదీని అక్టోబర్ 15గా పేర్కొంటుంది. మరింత కాంపాక్ట్ ఇన్‌ఫరెన్స్ కోసం NVIDIA ఒక NVFP4 క్వాంటైజ్డ్ చెక్‌పాయింట్‌ను కూడా విడుదల చేసింది. మోడల్‌లో మొత్తం 120 బిలియన్ పారామీటర్లు ఉన్నాయి; ప్రతి టోకెన్‌కు సుమారు 12 బిలియన్ చురుకుగా ఉంటాయి. NVIDIA యొక్క పరిశోధన పేజీ అక్టోబర్ 14న వచ్చింది; విస్తృతమైన Super, Lightning మోడళ్లను వివరిస్తుంది. ఆ ముందరి పరిశోధన ప్రచురణ అక్టోబర్ 15 వెయిట్స్ విడుదలకు వేరైనది.

కార్డ్‌లు లైసెన్స్‌ను OpenMDW 1.1గా పేర్కొని, ఆ నిబంధనల కింద చెక్‌పాయింట్లు వాణిజ్య, వాణిజ్యేతర వినియోగానికి సిద్ధమని చెబుతున్నాయి. BF16 వెయిట్స్ కస్టమైజేషన్, పూర్తి ప్రిసిషన్ మూల్యాంకనానికి ఉద్దేశించినవి; NVFP4 వేరియంట్ మరింత సమర్థవంతమైన సర్వింగ్‌కు ఉద్దేశించింది. NVIDIA యొక్క శిక్షణ రెసిపీ బేస్ వెయిట్స్, డేటా, రెసిపీలను కూడా జాబితా చేస్తుంది; అయితే Super 3.5 కోసం వాడిన సూపర్‌వైజ్డ్ ఫైన్-ట్యూనింగ్, రీఇన్‌ఫోర్స్‌మెంట్ లెర్నింగ్ డేటా ఇంకా ప్రచురించలేదని హెచ్చరిస్తుంది. కొన్ని టీచర్ మోడల్, విజన్-రీజనింగ్ దశలు పబ్లిక్ కాని భాగాలపై ఆధారపడతాయి. కాబట్టి విడుదలైన మెటీరియల్ NVIDIA శిక్షణ ప్రక్రియను పూర్తిగా పునరుత్పత్తి చేయడానికి సరిపోదు.

ఒక ఏజెంట్ దీన్ని ఎలా వాడవచ్చు

NVIDIA డాక్యుమెంటేషన్ టెక్స్ట్, JPEG లేదా PNG చిత్రాలు, రెండు నిమిషాల వరకు MP4 వీడియోను ఇన్‌పుట్లుగా పేర్కొంటుంది. పత్రాలను అనుబంధ టెక్స్ట్‌తో పేజీ చిత్రాలుగా ఇవ్వవచ్చు. అవుట్‌పుట్ ఒక టెక్స్ట్ స్ట్రింగ్; అందులో సమాధానం లేదా అప్లికేషన్ నిర్వహించాల్సిన టూల్ కాల్ ఉండవచ్చు. మోడల్ కార్డ్‌లోని API ఉదాహరణలు vLLMతో స్థానికంగా సర్వ్ చేసే OpenAI-అనుకూల చాట్ ఎండ్‌పాయింట్‌ను చూపుతాయి; చిత్రాలు, వీడియో, టూల్ కాలింగ్ ఉదాహరణలు ఉన్నాయి. ఇది డెవలపర్లకు ఇంటర్‌ఫేస్, సిద్ధమైన పత్రాల ప్రాసెసింగ్ లేదా ఘటనల ప్రతిస్పందన ఉత్పత్తి కాదు.

NVIDIA యొక్క విడుదల పోస్టు పత్రాల నుంచి సమాచారం వెలికితీత, చార్ట్ వివరణ, వీడియో సమీక్షలను ఉద్దేశించిన ఉపయోగాలుగా వివరిస్తుంది. Ramp రసీదు చిత్రాలను నిర్మిత JSONగా మారుస్తోందని, థ్రూపుట్ 50% వరకు పెరగడం, లేటెన్సీ పదిరెట్లు తగ్గడం ఆశిస్తోందని చెబుతోంది. Skydanceలో వెండర్-క్రెడిట్ ప్రాసెసింగ్ కోసం Scale AI మోడల్‌ను పోస్ట్-ట్రెయిన్ చేసిందని NVIDIA చెబుతోంది; ఆ వర్క్‌లోడ్‌కు ఇన్‌ఫరెన్స్ ఖర్చు 40 రెట్లు, లేటెన్సీ ఐదురెట్లు తగ్గుతాయని అంచనా. ఇవి NVIDIA వివరించిన నిర్దిష్ట భాగస్వాముల వాదనలు, అంచనాలు; BIG CHANGE కొలిచిన ఫలితాలు కావు, సాధారణ డిప్లాయ్‌మెంట్ అదే లాభాలు సాధిస్తుందనడానికి ఆధారమూ కాదు.

హార్డ్‌వేర్, ఖర్చు, పరిమితులు

BF16 కార్డ్ నాలుగు H100 GPUలు లేదా రెండు GB200 GPUల కోసం vLLM కాన్ఫిగరేషన్‌లను ఇస్తుంది. NVFP4 కార్డ్ మరింత కాంపాక్ట్ కాన్ఫిగరేషన్‌లను పేర్కొంటుంది: టెక్స్ట్, చిత్రాల కోసం ఒక్క DGX Spark; టెక్స్ట్, చిత్రాలు, వీడియో కోసం ఒక్క H200 లేదా GB200. గరిష్ఠ కాంటెక్స్ట్ పది లక్షల టోకెన్లుగా పేర్కొంది; అయితే అందుబాటులోని GPU మెమరీ, సమాంతర వినియోగానికి సరిపోయేలా వ్యక్తిగత సర్వింగ్ రెసిపీలు చిన్న కాంటెక్స్ట్ విండో వాడవచ్చని కార్డ్‌లు హెచ్చరిస్తాయి. వాటి వీడియో రెసిపీ అపరిమిత ఫుటేజ్‌ను ప్రాసెస్ చేయకుండా ఫ్రేమ్‌లను సాంపిల్ చేస్తుంది; ఉదాహరణలు ఒకటి నుంచి రెండు నిమిషాల క్లిప్‌లతో మొదలవుతాయి.

వెయిట్స్‌కు లైసెన్స్ నిబంధనలు ఉన్నప్పటికీ, వాటిని నడపడానికి తగిన GPU సామర్థ్యం, సాఫ్ట్‌వేర్ ఇంకా అవసరం. పేర్కొన్న మోడల్ కార్డ్‌లు సెల్ఫ్-హోస్టెడ్ ఇన్‌ఫరెన్స్‌కు ఒకే డాలర్ ధరను ఇవ్వవు; ఈ సమీక్ష సమయంలో NVIDIA విడుదల పోస్టులోని హోస్టెడ్ యాక్సెస్ లింక్ కూడా పబ్లిక్ ధరను చూపలేదు. ఖర్చు ఎంచుకున్న హార్డ్‌వేర్ లేదా ప్రొవైడర్, అసలు వర్క్‌లోడ్‌పై ఆధారపడుతుంది. NVIDIA బలమైన బెంచ్‌మార్క్, థ్రూపుట్ ఫలితాలను నివేదిస్తుంది; విడుదల పోస్టులో సింగిల్-GPU థ్రూపుట్ ఐదురెట్ల వరకు ఉన్న పోలిక కూడా ఉంది. ఆ పోలిక పేర్కొన్న ఎండ్‌పాయింట్, వర్క్‌లోడ్, బేస్‌లైన్‌లపై ఆధారపడుతుంది; పాఠకుడి అప్లికేషన్‌లో కొలిచిన ఖర్చు లేదా వేగం కాదు.

విడుదలను మూల్యాంకనం చేసే డెవలపర్లు ఏజెంట్‌కు కార్యాచరణ అధికారం ఇచ్చేముందు తమ సొంత పత్రాలు, క్లిప్‌లు, టూల్ అనుమతులు, ఎర్రర్ హ్యాండ్లింగ్‌ను పరీక్షించాలి. NVIDIA మోడల్ కార్డ్ కూడా వినియోగ సందర్భానికి నిర్దిష్టమైన సిస్టమ్ పరీక్షను కోరుతుంది. BIG CHANGE ప్రచురించిన మోడల్ ఆర్టిఫాక్ట్‌లు, డాక్యుమెంటేషన్‌ను సమీక్షించింది, కానీ మోడల్‌ను నడపలేదు.

మూలాలు, తదుపరి పఠనం

  • NVIDIA టెక్నికల్ బ్లాగ్, అక్టోబర్ 15: విడుదల వివరాలు, ప్రతిపాదిత వినియోగాలు, భాగస్వాముల వాదనలు, విక్రేత థ్రూపుట్ పోలికలు. భాగస్వాముల అంచనాలు, NVIDIA బెంచ్‌మార్క్‌లకు పైన మూలాన్ని పేర్కొన్నాం.
  • NVIDIA Nemotron పరిశోధన పేజీ, అక్టోబర్ 14: విస్తృత మోడల్ కుటుంబం, పరిశోధన నివేదిక, లింక్ చేసిన చెక్‌పాయింట్లను వివరిస్తుంది. ప్రచురణ తేదీ మోడల్ కార్డ్‌ల విడుదల తేదీకి ముందుది.
  • BF16 మోడల్ కార్డ్ మరియు NVFP4 మోడల్ కార్డ్, రెండూ అక్టోబర్ 15 నాటివే: వెర్షన్, లైసెన్స్, ఇన్‌పుట్లు, అవుట్‌పుట్, సర్వింగ్ ఉదాహరణలు, హార్డ్‌వేర్ కాన్ఫిగరేషన్‌లు. ఇవి NVIDIA సొంత డాక్యుమెంటేషన్, స్వతంత్ర క్షేత్ర పరీక్షలు కావు.
  • NVIDIA శిక్షణ రెసిపీ: విడుదలైన చెక్‌పాయింట్లు, రెసిపీలను ఇంకా పబ్లిక్ కావాల్సిన పోస్ట్-ట్రెయినింగ్ డేటా, భాగాల నుంచి వేరు చేస్తుంది.