NVIDIA выпустила веса модели Nemotron 3.5 Super VL 15 октября. Визуально-языковая модель принимает текст, изображения и выбранные кадры видео, а выдаёт текст. Разработчики могут использовать её как компонент рассуждения агента, который читает документ или изображение, вызывает инструмент и продолжает работу на основе результата. Релиз предоставляет артефакт модели и инструкции по развёртыванию сервиса; он не доказывает надёжность такого агента в конкретной рабочей среде.

Главное изменение

  • Что изменилось: NVIDIA выпустила модель после дообучения, объединяющую визуальный ввод, текстовое рассуждение и использование инструментов в одном наборе весов. Документированный выход — текст, поэтому приложение по-прежнему предоставляет инструменты и определяет допустимые действия модели.
  • Почему это важно: Разработчик документооборота или видеопроцессов может оценить одну модель на визуальных данных и последующих вызовах инструментов, а не рассматривать визуальную интерпретацию как отдельный этап. Польза зависит от результатов на его собственных материалах и с его разрешениями.
  • За чем следить: Опубликованные инструкции позволяют проводить оценку, но руководство NVIDIA по обучению сообщает, что часть данных и компонентов дообучения остаётся недоступной. Независимые результаты на конкретных задачах скажут о пользе модели больше, чем одни сравнения при запуске.

Что выпустила NVIDIA

Эта карточка модели BF16 обозначает дообученный чекпойнт как версию 1.0 GA и датирует релиз на Hugging Face 15 октября. NVIDIA также опубликовала квантованный чекпойнт NVFP4 для более компактного инференса. Модель содержит 120 млрд параметров, из которых около 12 млрд активны для каждого токена. У NVIDIA исследовательская страница появилась 14 октября и описывает более широкий набор моделей Super и Lightning; эта ранняя исследовательская публикация отличается от выпуска весов 15 октября.

В карточках указана лицензия OpenMDW 1.1 и сказано, что чекпойнты готовы к коммерческому и некоммерческому применению на этих условиях. Веса BF16 предназначены для адаптации и оценки с полной точностью, а вариант NVFP4 — для более эффективного обслуживания запросов. Опубликованная NVIDIA инструкция по обучению также перечисляет базовые веса, данные и процедуры, но предупреждает, что данные для контролируемой тонкой настройки и обучения с подкреплением Super 3.5 пока не опубликованы. Некоторые этапы с моделями-учителями и визуальным рассуждением зависят от непубличных компонентов. Поэтому выпущенные материалы не позволяют полностью воспроизвести обучение NVIDIA.

Как агент может это использовать

NVIDIA документирует текст, изображения JPEG или PNG и видео MP4 длительностью до двух минут как входные данные. Документы можно передавать изображениями страниц с сопроводительным текстом. Выход — строка текста, которая может содержать ответ или вызов инструмента для обработки приложением. В карточке модели примеры API показывают совместимый с OpenAI чат-эндпойнт, работающий локально через vLLM, с примерами для изображений, видео и вызова инструментов. Это интерфейс для разработчиков, а не готовый продукт обработки документов или реагирования на инциденты.

Опубликованная NVIDIA заметка о запуске описывает извлечение данных из документов, интерпретацию диаграмм и просмотр видео как предполагаемые применения. В ней сказано, что Ramp преобразует изображения чеков в структурированный JSON и ожидает увеличения пропускной способности до 50% и десятикратного снижения задержки. По словам NVIDIA, Scale AI дообучила модель для обработки кредитовых корректировок поставщиков в Skydance; прогнозируется снижение стоимости инференса в 40 раз и задержки в пять раз для этой нагрузки. Это утверждения и ожидания конкретных партнёров в изложении NVIDIA, а не измерения BIG CHANGE и не доказательство таких же результатов при общем внедрении.

Оборудование, стоимость и ограничения

Карточка BF16 предлагает конфигурации vLLM для четырёх GPU H100 или двух GPU GB200. Карточка NVFP4 перечисляет более компактные варианты, включая один DGX Spark для текста и изображений и один H200 или GB200 для текста, изображений и видео. Заявлен максимальный контекст в миллион токенов, хотя карточки предупреждают: отдельные процедуры обслуживания могут использовать меньшее окно контекста с учётом доступной памяти GPU и параллельных запросов. Видеопроцедура выбирает кадры, а не обрабатывает неограниченный видеоматериал; примеры начинаются с роликов от одной до двух минут.

У весов есть лицензионные условия, но для запуска всё равно нужны подходящие мощности GPU и ПО. Указанные карточки не дают единой долларовой цены самостоятельного инференса, а ссылка на хостинговый доступ в публикации NVIDIA при этом обзоре не показывала публичной цены. Стоимость зависит от выбранного оборудования или провайдера и фактической нагрузки. NVIDIA сообщает высокие результаты бенчмарков и пропускной способности, включая сравнение с увеличением пропускной способности на одном GPU до пяти раз в публикации о запуске. Оно зависит от указанных эндпойнта, нагрузки и баз сравнения; это не измерение стоимости или скорости приложения читателя.

Разработчикам следует проверить собственные документы, ролики, разрешения инструментов и обработку ошибок, прежде чем давать агенту операционные полномочия. Сама карточка NVIDIA требует системных тестов для конкретного сценария. BIG CHANGE изучила опубликованные артефакты и документацию, но модель не запускала.

Источники и дополнительное чтение

  • Технический блог NVIDIA, 15 октября: описание запуска, предлагаемые применения, заявления партнёров и сравнения пропускной способности поставщика. Прогнозы партнёров и бенчмарки NVIDIA выше указаны с атрибуцией.
  • Исследовательская страница NVIDIA Nemotron, 14 октября: описывает более широкое семейство моделей, исследовательский отчёт и связанные чекпойнты. Публикация предшествует дате выпуска карточек моделей.
  • Карточка модели BF16 и карточка модели NVFP4, обе от 15 октября: версия, лицензия, входы и выход, примеры обслуживания и аппаратные конфигурации. Это собственная документация NVIDIA, а не независимые полевые испытания.
  • Инструкция NVIDIA по обучению: отличает выпущенные чекпойнты и процедуры от данных и компонентов дообучения, которые ещё ждут публичного выпуска.