NVIDIA је објавила тежине модела Nemotron 3.5 Super VL 15. октобра. Визуелно-језички модел прихвата текст, слике и узорковане видео-кадрове, а производи текст. Програмери га могу користити као компоненту за резоновање агента који чита документ или слику, позива алат и наставља на основу резултата. Издање им даје модел и упутства за његово послуживање; не утврђује колико поуздано такав агент ради у одређеном радном окружењу.

Велика промена

  • Шта се променило: NVIDIA је објавила накнадно трениран модел који у једном скупу тежина обједињује визуелни улаз, текстуално резоновање и употребу алата. Документовани излаз је текст, па апликација и даље обезбеђује алате и одлучује шта модел сме да ради.
  • Зашто је важно: Програмер који гради токове обраде докумената или видеа може да процени један модел кроз визуелне доказе и наредне позиве алата, уместо да визуелно тумачење посматра као издвојен корак. Корист зависи од резултата са његовим материјалом и дозволама.
  • Шта пратити: Објављени поступци омогућавају процену, али NVIDIA водич за тренирање каже да део података и компоненти накнадног тренирања још није доступан. Независни резултати за конкретне задатке рећи ће више о корисности модела него сама поређења са представљања.

Шта је NVIDIA објавила

Ова картица модела BF16 означава накнадно тренирани контролни снимак као верзију 1.0 GA и наводи 15. октобар као датум објављивања на Hugging Face-у. NVIDIA је објавила и квантизовани контролни снимак NVFP4 за компактније извршавање инференције. Модел има укупно 120 милијарди параметара, од којих је око 12 милијарди активно за сваки токен. NVIDIA-ина истраживачка страница појавила се 14. октобра и описује шире моделе Super и Lightning; та ранија истраживачка објава разликује се од објављивања тежина 15. октобра.

Картице као лиценцу наводе OpenMDW 1.1 и кажу да су контролни снимци спремни за комерцијалну и некомерцијалну употребу под тим условима. BF16 тежине намењене су прилагођавању и процени при пуној прецизности; NVFP4 варијанта је намењена ефикаснијем послуживању. NVIDIA-ин поступак тренирања наводи и основне тежине, податке и поступке, али упозорава да подаци за надзирано фино подешавање и учење поткрепљивањем коришћени за Super 3.5 још нису објављени. Неке фазе наставничких модела и визуелног резоновања зависе од компоненти које нису јавне. Објављени материјали зато не омогућавају потпуну репродукцију NVIDIA-иног тренирања.

Како агент може да га користи

NVIDIA у документацији наводи текст, JPEG или PNG слике и MP4 видео до два минута као улазе. Документи се могу доставити као слике страница са пратећим текстом. Излаз је текстуални низ који може садржати одговор или позив алата који апликација треба да обради. На картици модела API примери приказују локално послуживану крајњу тачку за ћаскање компатибилну са OpenAI-јем уз vLLM, укључујући примере за слике, видео и позивање алата. То је интерфејс за програмере, а не готов производ за обраду докумената или одговор на инциденте.

NVIDIA-ина објава поводом представљања описује издвајање података из докумената, тумачење графикона и преглед видеа као предвиђене примене. Наводи да Ramp претвара слике рачуна у структурирани JSON и очекује до 50% већу пропусност и десет пута мање кашњење. NVIDIA каже да је Scale AI накнадно тренирао модел за обраду одобрења добављача у Skydance-у, уз пројектован 40 пута нижи трошак инференције и пет пута мање кашњење за тај радни терет. То су тврдње и очекивања конкретних партнера у NVIDIA-ином приказу, а не резултати које је измерио BIG CHANGE нити доказ да ће општа имплементација остварити исте добитке.

Хардвер, трошкови и ограничења

BF16 картица даје vLLM конфигурације за четири H100 GPU-а или два GB200 GPU-а. NVFP4 картица наводи компактније конфигурације, укључујући један DGX Spark за текст и слике и један H200 или GB200 за текст, слике и видео. Наведен је максимални контекст од милион токена, мада картице упозоравају да појединачни поступци послуживања могу користити мањи прозор контекста како би стали у расположиву GPU меморију уз потребну истовременост. Видео-поступак узоркује кадрове уместо да обрађује неограничене снимке; његови примери почињу клиповима од једног до два минута.

Тежине имају услове лиценце, али за њихово извршавање и даље су потребни одговарајући GPU капацитет и софтвер. Наведене картице не дају јединствену доларску цену самостално хостоване инференције, а линк ка хостованом приступу у NVIDIA-иној објави није приказивао јавну цену током ове провере. Трошак ће зависити од изабраног хардвера или пружаоца услуге и стварног радног оптерећења. NVIDIA пријављује снажне резултате тестова и пропусности, укључујући поређење до пет пута веће пропусности на једном GPU-у у објави поводом представљања. То поређење зависи од наведене крајње тачке, оптерећења и полазних система; не представља измерени трошак или брзину читаочеве апликације.

Програмери који процењују издање треба да тестирају сопствене документе, клипове, дозволе алата и обраду грешака пре него што агенту дају оперативна овлашћења. Сама NVIDIA картица тражи системско тестирање за конкретан случај употребе. BIG CHANGE је прегледао објављене моделе и документацију, али није покренуо модел.

Извори и додатно читање

  • NVIDIA технички блог, 15. октобар: приказ представљања, предложене примене, тврдње партнера и поређења пропусности произвођача. Пројекције партнера и NVIDIA тестови изнад су приписани изворима.
  • NVIDIA Nemotron истраживачка страница, 14. октобар: описује ширу породицу модела, истраживачки извештај и повезане контролне снимке. Објављена је пре датума издавања картица модела.
  • Картица модела BF16 и картица модела NVFP4, обе од 15. октобра: верзија, лиценца, улази и излаз, примери послуживања и хардверске конфигурације. Картице су NVIDIA-ина документација, а не независни теренски тестови.
  • NVIDIA поступак тренирања: разликује објављене контролне снимке и поступке од података и компоненти накнадног тренирања који још чекају јавно објављивање.