NVIDIA が公開した Nemotron 3.5 Super VL のモデル重みのリリース日は 10 月 15 日だ。視覚言語モデルはテキスト、画像、サンプリングした動画フレームを受け取り、テキストを生成する。開発者は、文書や画像を読み、ツールを呼び出し、その結果から処理を続けるエージェントの推論部分として利用できる。今回の公開で得られるのはモデルの成果物とサービング手順であり、特定の職場でそのようなエージェントがどれほど確実に動くかが実証されたわけではない。

大きな変化

  • 何が変わったか： NVIDIA は、視覚入力、テキスト推論、ツール利用を一組の重みにまとめた事後学習済みモデルを公開した。文書に示された出力はテキストなので、ツールを用意し、モデルに許す操作を決めるのは引き続きアプリケーション側だ。
  • なぜ重要か： 文書や動画のワークフローを作る開発者は、視覚解釈を単独の工程にする代わりに、視覚的な根拠から後続のツール呼び出しまで一つのモデルで評価できる。利点は、開発者自身の資料と権限設定で得られる結果に左右される。
  • 今後の注目点： 公開されたレシピで評価は可能になったが、NVIDIA の学習ガイドによると、事後学習のデータや構成要素の一部はまだ入手できない。公開時の比較だけよりも、独立したタスク別の結果がモデルの有用性をよく示すだろう。

NVIDIA が公開したもの

この BF16 モデルカードは事後学習済みチェックポイントをバージョン 1.0 GA とし、Hugging Face での公開日を 10 月 15 日と記している。NVIDIA は省リソースで推論するための NVFP4 量子化チェックポイントも公開した。総パラメーター数は 1,200 億で、各トークンについて約 120 億が有効になる。NVIDIA の 研究ページは 10 月 14 日に登場し、より広い Super、Lightning モデルについて説明している。この先行する研究発表と 10 月 15 日の重み公開は別の出来事だ。

モデルカードはライセンスを OpenMDW 1.1とし、その条件の下で商用・非商用に利用できるとしている。BF16 の重みはカスタマイズとフル精度評価向け、NVFP4 版は効率的なサービング向けに位置付けられる。NVIDIA の 学習レシピはベース重み、データ、レシピも挙げているが、Super 3.5 に用いた教師ありファインチューニングと強化学習のデータはまだ公開されていないと注意している。教師モデルや視覚推論の一部の段階は非公開の構成要素に依存する。したがって、公開資料だけで NVIDIA の学習実行を完全に再現できるわけではない。

エージェントでの使い方

NVIDIA が入力として記載しているのはテキスト、JPEG・PNG 画像、最長 2 分の MP4 動画だ。文書は付随テキストを含むページ画像として渡せる。出力はテキスト文字列であり、回答や、アプリケーションが処理するツール呼び出しを含められる。モデルカードの API の例は、vLLM でローカルに提供する OpenAI 互換チャットエンドポイントを示し、画像、動画、ツール呼び出しの例も含む。これは開発者向けインターフェースであり、完成した文書処理製品やインシデント対応製品ではない。

NVIDIA の 公開記事は、文書からの情報抽出、図表の解釈、動画レビューを想定用途として挙げる。Ramp は領収書画像を構造化 JSON に変換しており、スループットが最大 50% 向上し、レイテンシーは 10 分の 1 になると見込んでいるという。NVIDIA によると、Scale AI は Skydance の仕入先クレジット処理向けにモデルを事後学習し、そのワークロードで推論コストが 40 分の 1、レイテンシーが 5 分の 1 になると予測されている。これらは NVIDIA の説明にある特定パートナーの主張と見込みであり、BIG CHANGE の測定結果でも、一般的な導入で同じ改善が得られる証拠でもない。

ハードウェア、費用、制限

BF16 のカードは H100 GPU 4 基または GB200 GPU 2 基の vLLM 構成を示す。NVFP4 のカードには、テキスト・画像用の DGX Spark 1 台、テキスト・画像・動画用の H200 または GB200 1 基など、より小規模な構成がある。最大コンテキストは 100 万トークンとされるが、カードは、GPU メモリーや同時処理に合わせて個々のサービングレシピが小さいコンテキスト窓を使う場合があると注意している。動画レシピは制限のない映像を処理するのではなくフレームをサンプリングし、例は 1～2 分のクリップから始まる。

重みにはライセンス条件があるが、実行には適切な GPU 容量とソフトウェアが必要だ。参照したモデルカードには自己ホスト推論の一律のドル価格がなく、NVIDIA の公開記事にあるホスト型アクセスのリンクにも、今回の確認時点で公開価格は表示されなかった。費用は選ぶハードウェアや提供元、実際のワークロードに左右される。NVIDIA は高いベンチマーク・スループット結果を報告しており、公開記事には単一 GPU で最大 5 倍のスループットという比較もある。この比較は明記されたエンドポイント、ワークロード、比較基準に依存し、読者のアプリケーションで測った費用や速度ではない。

開発者はエージェントに実務上の権限を与える前に、自分たちの文書、クリップ、ツール権限、エラー処理を試すべきだ。NVIDIA のモデルカード自体も、用途に即したシステムテストを求めている。BIG CHANGE は公開成果物と文書を確認したが、モデルは実行していない。

出典と参考資料

  • NVIDIA 技術ブログ、10 月 15 日：公開時の説明、提案用途、パートナーの主張、ベンダーのスループット比較。パートナー予測と NVIDIA のベンチマークは上で出典を明示した。
  • NVIDIA Nemotron 研究ページ、10 月 14 日：より広いモデル群、研究報告、リンクされたチェックポイントを説明する。モデルカードの公開日より前に発表された。
  • BF16 モデルカードとNVFP4 モデルカード、ともに 10 月 15 日付：バージョン、ライセンス、入出力、サービング例、ハードウェア構成。NVIDIA 自身の文書であり、独立した実地テストではない。
  • NVIDIA 学習レシピ：公開済みチェックポイントとレシピを、まだ公開待ちの事後学習データや構成要素と区別する。