NVIDIA publie les poids de Nemotron 3.5 Super VL pour les agents multimodaux

NVIDIA a publié les poids du modèle Nemotron 3.5 Super VL le 15 octobre. Ce modèle vision-langage accepte du texte, des images et des images échantillonnées de vidéos, puis produit du texte. Les développeurs peuvent l’utiliser comme composant de raisonnement d’un agent qui lit un document ou une image, appelle un outil et poursuit à partir du résultat. La publication fournit un artefact de modèle et des instructions de déploiement ; elle ne démontre pas la fiabilité d’un tel agent dans un environnement professionnel précis.

Le grand changement

• Ce qui change : NVIDIA a publié un modèle post-entraîné réunissant entrée visuelle, raisonnement textuel et utilisation d’outils dans un même jeu de poids. Sa sortie documentée est du texte : l’application fournit donc toujours les outils et décide des actions autorisées au modèle.
• Pourquoi c’est important : Un développeur de flux documentaires ou vidéo peut évaluer un modèle sur les éléments visuels et les appels d’outils suivants, au lieu de traiter l’interprétation visuelle comme une étape isolée. Le bénéfice dépend des résultats avec ses propres contenus et autorisations.
• À surveiller : Les recettes publiées permettent l’évaluation, mais le guide d’entraînement de NVIDIA précise que certaines données et certains composants de post-entraînement restent indisponibles. Des résultats indépendants propres aux tâches en diront plus sur l’utilité du modèle que les seules comparaisons de lancement.

Ce que NVIDIA a publié

La fiche du modèle BF16 identifie le point de contrôle post-entraîné comme version 1.0 GA et date sa publication sur Hugging Face du 15 octobre. NVIDIA a aussi publié un point de contrôle quantifié NVFP4 pour une inférence plus compacte. Le modèle compte 120 milliards de paramètres au total, dont environ 12 milliards actifs par token. La page de recherche de NVIDIA est parue le 14 octobre et décrit les modèles Super et Lightning plus largement ; cette publication de recherche antérieure est distincte de celle des poids le 15 octobre.

Les fiches indiquent la licence OpenMDW 1.1 et précisent que les points de contrôle sont prêts pour un usage commercial et non commercial selon ces conditions. Les poids BF16 visent la personnalisation et l’évaluation à pleine précision ; la variante NVFP4 vise un service d’inférence plus efficace. La recette d’entraînement de NVIDIA répertorie aussi des poids de base, données et recettes, mais prévient que les données d’ajustement supervisé et d’apprentissage par renforcement utilisées pour Super 3.5 ne sont pas encore publiées. Certaines étapes de modèles enseignants et de raisonnement visuel dépendent de composants non publics. Les éléments publiés ne permettent donc pas de reproduire intégralement l’entraînement de NVIDIA.

Comment un agent peut l’utiliser

NVIDIA documente le texte, les images JPEG ou PNG et les vidéos MP4 de deux minutes maximum comme entrées. Les documents peuvent être fournis sous forme d’images de pages accompagnées de texte. La sortie est une chaîne de texte pouvant contenir une réponse ou un appel d’outil à traiter par une application. Les exemples d’API de la fiche présentent un endpoint de chat compatible OpenAI servi localement avec vLLM, notamment pour les images, la vidéo et les appels d’outils. Il s’agit d’une interface pour développeurs, pas d’un produit fini de traitement documentaire ou de réponse aux incidents.

La publication de lancement de NVIDIA décrit l’extraction documentaire, l’interprétation de graphiques et l’examen de vidéos comme usages prévus. Elle indique que Ramp convertit des images de reçus en JSON structuré et attend jusqu’à 50% de débit supplémentaire et une latence divisée par dix. Selon NVIDIA, Scale AI a post-entraîné le modèle pour traiter des avoirs fournisseurs chez Skydance, avec un coût d’inférence prévu divisé par 40 et une latence divisée par cinq pour cette charge. Ce sont des affirmations et attentes propres à des partenaires dans le récit de NVIDIA, pas des résultats mesurés par BIG CHANGE ni la preuve qu’un déploiement général obtiendra les mêmes gains.

Matériel, coût et limites

La fiche BF16 fournit des configurations vLLM pour quatre GPU H100 ou deux GPU GB200. La fiche NVFP4 en propose de plus compactes, dont un seul DGX Spark pour le texte et les images, et un seul H200 ou GB200 pour le texte, les images et la vidéo. Un contexte maximal d’un million de tokens est indiqué, mais les fiches avertissent que certaines recettes de service peuvent réduire cette fenêtre pour tenir dans la mémoire GPU et la concurrence disponibles. La recette vidéo échantillonne des images plutôt que de traiter des séquences sans restriction ; ses exemples commencent par des clips d’une à deux minutes.

Les poids sont assortis de conditions de licence, mais leur exécution exige toujours une capacité GPU et des logiciels adaptés. Les fiches citées ne donnent pas de prix unique en dollars pour l’inférence autohébergée, et le lien d’accès hébergé du billet de NVIDIA n’affichait pas de tarif public lors de cet examen. Le coût dépendra du matériel ou fournisseur choisi et de la charge réelle. NVIDIA annonce de bons résultats de benchmarks et de débit, dont une comparaison faisant état d’un débit jusqu’à cinq fois supérieur sur un seul GPU dans son billet de lancement. Cette comparaison dépend de l’endpoint, de la charge et des références indiqués ; ce n’est pas une mesure du coût ou de la vitesse de l’application du lecteur.

Les développeurs doivent tester leurs propres documents, clips, permissions d’outils et gestion des erreurs avant de donner une autorité opérationnelle à un agent. La fiche NVIDIA demande elle-même des tests système propres au cas d’usage. BIG CHANGE a examiné les artefacts et la documentation publiés, mais n’a pas exécuté le modèle.

Sources et lectures complémentaires

• Blog technique NVIDIA, 15 octobre : récit du lancement, usages proposés, affirmations des partenaires et comparaisons de débit du fournisseur. Les projections des partenaires et les benchmarks NVIDIA sont attribués plus haut.
• Page de recherche NVIDIA Nemotron, 14 octobre : décrit la famille de modèles élargie, le rapport de recherche et les points de contrôle liés. Sa publication précède la date de sortie des fiches.
• Fiche du modèle BF16 et fiche du modèle NVFP4, toutes deux du 15 octobre : version, licence, entrées et sortie, exemples de service et configurations matérielles. Ce sont des documents de NVIDIA, pas des essais indépendants sur le terrain.
• Recette d’entraînement NVIDIA : distingue les points de contrôle et recettes publiés des données et composants de post-entraînement encore en attente de publication.