Boris Power estime que la recherche d’OpenAI porte surtout sur les générations futures de GPT

Lors du Fellows Forum, le 23 septembre, Boris Power, responsable de la recherche appliquée chez OpenAI, a estimé que 80 à 90 % des recherches de l’entreprise portent sur « GPT-7, GPT-8 et les générations suivantes ». Il avançait ce chiffre en expliquant comment OpenAI équilibre le travail sur ses produits actuels et la recherche sur des modèles plus performants. Il s’agit de son estimation, formulée lors d’une conversation publique ; OpenAI n’a publié aucune ventilation des moyens consacrés à la recherche qui permettrait de la vérifier.

Le changement majeur

• Ce qui a changé : Power décrit deux axes liés : améliorer les modèles utilisés aujourd’hui et mener des recherches sur les générations futures. Selon son estimation, ce second axe représente la majeure partie de la recherche d’OpenAI.
• Pourquoi c’est important : Un grand modèle plus performant peut fournir des exemples d’entraînement à un modèle plus petit et moins coûteux, pour une tâche définie. Les développeurs ont donc intérêt à suivre les recherches sur les modèles de pointe, même lorsqu’ils s’appuient sur des modèles plus petits dans leurs produits.
• À surveiller : Les prochaines sorties de modèles et les publications techniques permettront de voir si les progrès des grands modèles se transmettent aux plus petits. L’entretien ne donne aucune date de sortie, spécification ni aucun résultat concernant GPT-7 ou GPT-8.

Le contexte de cette estimation

Power répondait à une question de Zachary Lipton sur la manière dont les demandes des clients influent à leur tour sur la recherche. Il a expliqué qu’OpenAI peut améliorer un comportement particulier, comme l’utilisation d’outils, grâce à des données d’entraînement spécialisées et à la recherche appliquée. Selon lui, les mises à jour progressives au sein d’une génération de modèles répondent souvent à ce type de besoin. Il a fait valoir qu’une nouvelle génération de modèles plus grands peut changer les corrections spécialisées qui restent nécessaires. Il a présenté certains investissements actuels comme des moyens d’apprendre et de progresser plus vite dès aujourd’hui, même s’ils ne relèvent pas de la stratégie à long terme.

Cette distinction a mené à la remarque sur les 80 à 90 %, formulée à 1 h 32 min 52 s dans l’enregistrement du Fellows Forum. Power parlait des recherches menées chez OpenAI, et pas seulement de celles de sa propre équipe. Ni l’enregistrement ni les publications d’OpenAI ne définissent les recherches prises en compte, leur période, leur budget, leurs effectifs ou la méthode utilisée pour parvenir à cette estimation. Il faut donc lire ce chiffre comme une description des priorités selon Power, et non comme une mesure auditée des dépenses ou des effectifs de l’entreprise.

Power a cité GPT-7 et GPT-8 en exemples de générations futures. Il n’a annoncé aucun de ces modèles, dévoilé aucune étape de développement ni donné de calendrier de sortie. Le catalogue actuel des modèles d’OpenAI présente GPT-6 Astra, Sol et Luna ; il donne un contexte public aux noms cités par Power, mais n’apporte aucune preuve sur l’état d’avancement des générations suivantes.

Pourquoi il a parlé de distillation

Juste après son estimation, Power a décrit un grand modèle GPT-6 Astra enseignant à un modèle GPT Luna plus petit. Son idée était qu’un grand modèle performant peut fournir des exemples pour entraîner un modèle plus petit. Il expliquait une approche de recherche ; il ne documentait pas l’entraînement d’un modèle Luna commercialisé à partir d’Astra.

Le guide d’OpenAI sur le réglage fin supervisé décrit le mécanisme. Le développeur vérifie d’abord qu’un modèle plus grand est performant sur une tâche définie, conserve des résultats adaptés, les utilise comme exemples d’entraînement pour un modèle plus petit, puis évalue ce dernier sur cette tâche. OpenAI indique que cette méthode peut rapprocher les performances du petit modèle de celles du grand sur une tâche précise. Cela ne signifie pas que le petit modèle hérite de toutes les capacités du modèle qui l’enseigne. L’annonce d’OpenAI sur la distillation des modèles décrit elle aussi un processus itératif d’évaluation, de collecte des résultats produits et de réglage fin.

L’idée a une histoire plus longue. Dans un article de recherche de 2015, Geoffrey Hinton, Oriol Vinyals et Jeff Dean ont étudié le transfert de connaissances de systèmes plus grands vers un modèle plus facile à déployer. Ces travaux éclairent le concept d’enseignant et d’élève ; ils ne disent rien sur la répartition actuelle des moyens de recherche chez OpenAI.

Cela explique le lien que Power établissait entre la recherche de pointe et les modèles pratiques. Un modèle plus performant peut produire du matériel d’entraînement utile à des systèmes spécialisés et moins coûteux. L’efficacité de cette méthode dépend de la tâche, des exemples retenus et de l’évaluation. Power n’a présenté aucun résultat de distillation ni aucune mesure comparative pour l’exemple Astra–Luna.

L’estimation de Power est révélatrice, car elle exprime son point de vue sur les domaines où OpenAI s’attend à trouver la plus grande valeur en matière de recherche. Les éléments publics confirment qu’il a tenu ces propos et établissent la technique générale qu’il a évoquée. Ils ne permettent pas de déterminer comment les ressources d’OpenAI sont réellement réparties ni ce qu’apportera une future génération de GPT.