NVIDIA je objavila težine modela Nemotron 3.5 Super VL 15. oktobra. Vizuelno-jezički model prihvata tekst, slike i uzorkovane video-kadrove, a proizvodi tekst. Programeri ga mogu koristiti kao komponentu za rezonovanje agenta koji čita dokument ili sliku, poziva alat i nastavlja na osnovu rezultata. Izdanje im daje model i uputstva za njegovo posluživanje; ne utvrđuje koliko pouzdano takav agent radi u određenom radnom okruženju.

Velika promena

  • Šta se promenilo: NVIDIA je objavila naknadno treniran model koji u jednom skupu težina objedinjuje vizuelni ulaz, tekstualno rezonovanje i upotrebu alata. Dokumentovani izlaz je tekst, pa aplikacija i dalje obezbeđuje alate i odlučuje šta model sme da radi.
  • Zašto je važno: Programer koji gradi tokove obrade dokumenata ili videa može da proceni jedan model kroz vizuelne dokaze i naredne pozive alata, umesto da vizuelno tumačenje posmatra kao izdvojen korak. Korist zavisi od rezultata sa njegovim materijalom i dozvolama.
  • Šta pratiti: Objavljeni postupci omogućavaju procenu, ali NVIDIA vodič za treniranje kaže da deo podataka i komponenti naknadnog treniranja još nije dostupan. Nezavisni rezultati za konkretne zadatke reći će više o korisnosti modela nego sama poređenja sa predstavljanja.

Šta je NVIDIA objavila

Ova kartica modela BF16 označava naknadno trenirani kontrolni snimak kao verziju 1.0 GA i navodi 15. oktobar kao datum objavljivanja na Hugging Face-u. NVIDIA je objavila i kvantizovani kontrolni snimak NVFP4 za kompaktnije izvršavanje inferencije. Model ima ukupno 120 milijardi parametara, od kojih je oko 12 milijardi aktivno za svaki token. NVIDIA-ina istraživačka stranica pojavila se 14. oktobra i opisuje šire modele Super i Lightning; ta ranija istraživačka objava razlikuje se od objavljivanja težina 15. oktobra.

Kartice kao licencu navode OpenMDW 1.1 i kažu da su kontrolni snimci spremni za komercijalnu i nekomercijalnu upotrebu pod tim uslovima. BF16 težine namenjene su prilagođavanju i proceni pri punoj preciznosti; NVFP4 varijanta je namenjena efikasnijem posluživanju. NVIDIA-in postupak treniranja navodi i osnovne težine, podatke i postupke, ali upozorava da podaci za nadzirano fino podešavanje i učenje potkrepljivanjem korišćeni za Super 3.5 još nisu objavljeni. Neke faze nastavničkih modela i vizuelnog rezonovanja zavise od komponenti koje nisu javne. Objavljeni materijali zato ne omogućavaju potpunu reprodukciju NVIDIA-inog treniranja.

Kako agent može da ga koristi

NVIDIA u dokumentaciji navodi tekst, JPEG ili PNG slike i MP4 video do dva minuta kao ulaze. Dokumenti se mogu dostaviti kao slike stranica sa pratećim tekstom. Izlaz je tekstualni niz koji može sadržati odgovor ili poziv alata koji aplikacija treba da obradi. Na kartici modela API primeri prikazuju lokalno posluživanu krajnju tačku za ćaskanje kompatibilnu sa OpenAI-jem uz vLLM, uključujući primere za slike, video i pozivanje alata. To je interfejs za programere, a ne gotov proizvod za obradu dokumenata ili odgovor na incidente.

NVIDIA-ina objava povodom predstavljanja opisuje izdvajanje podataka iz dokumenata, tumačenje grafikona i pregled videa kao predviđene primene. Navodi da Ramp pretvara slike računa u strukturirani JSON i očekuje do 50% veću propusnost i deset puta manje kašnjenje. NVIDIA kaže da je Scale AI naknadno trenirao model za obradu odobrenja dobavljača u Skydance-u, uz projektovan 40 puta niži trošak inferencije i pet puta manje kašnjenje za taj radni teret. To su tvrdnje i očekivanja konkretnih partnera u NVIDIA-inom prikazu, a ne rezultati koje je izmerio BIG CHANGE niti dokaz da će opšta implementacija ostvariti iste dobitke.

Hardver, troškovi i ograničenja

BF16 kartica daje vLLM konfiguracije za četiri H100 GPU-a ili dva GB200 GPU-a. NVFP4 kartica navodi kompaktnije konfiguracije, uključujući jedan DGX Spark za tekst i slike i jedan H200 ili GB200 za tekst, slike i video. Naveden je maksimalni kontekst od milion tokena, mada kartice upozoravaju da pojedinačni postupci posluživanja mogu koristiti manji prozor konteksta kako bi stali u raspoloživu GPU memoriju uz potrebnu istovremenost. Video-postupak uzorkuje kadrove umesto da obrađuje neograničene snimke; njegovi primeri počinju klipovima od jednog do dva minuta.

Težine imaju uslove licence, ali za njihovo izvršavanje i dalje su potrebni odgovarajući GPU kapacitet i softver. Navedene kartice ne daju jedinstvenu dolarsku cenu samostalno hostovane inferencije, a link ka hostovanom pristupu u NVIDIA-inoj objavi nije prikazivao javnu cenu tokom ove provere. Trošak će zavisiti od izabranog hardvera ili pružaoca usluge i stvarnog radnog opterećenja. NVIDIA prijavljuje snažne rezultate testova i propusnosti, uključujući poređenje do pet puta veće propusnosti na jednom GPU-u u objavi povodom predstavljanja. To poređenje zavisi od navedene krajnje tačke, opterećenja i polaznih sistema; ne predstavlja izmereni trošak ili brzinu čitaočeve aplikacije.

Programeri koji procenjuju izdanje treba da testiraju sopstvene dokumente, klipove, dozvole alata i obradu grešaka pre nego što agentu daju operativna ovlašćenja. Sama NVIDIA kartica traži sistemsko testiranje za konkretan slučaj upotrebe. BIG CHANGE je pregledao objavljene modele i dokumentaciju, ali nije pokrenuo model.

Izvori i dodatno čitanje

  • NVIDIA tehnički blog, 15. oktobar: prikaz predstavljanja, predložene primene, tvrdnje partnera i poređenja propusnosti proizvođača. Projekcije partnera i NVIDIA testovi iznad su pripisani izvorima.
  • NVIDIA Nemotron istraživačka stranica, 14. oktobar: opisuje širu porodicu modela, istraživački izveštaj i povezane kontrolne snimke. Objavljena je pre datuma izdavanja kartica modela.
  • Kartica modela BF16 i kartica modela NVFP4, obe od 15. oktobra: verzija, licenca, ulazi i izlaz, primeri posluživanja i hardverske konfiguracije. Kartice su NVIDIA-ina dokumentacija, a ne nezavisni terenski testovi.
  • NVIDIA postupak treniranja: razlikuje objavljene kontrolne snimke i postupke od podataka i komponenti naknadnog treniranja koji još čekaju javno objavljivanje.