Le 6 octobre, OpenAI a publié un vaste ensemble de travaux mathématiques produits par l’IA. Il comprend des manuscrits, une présentation des résultats revendiqués et des fichiers de preuves formelles pour certains d’entre eux. l’annonce d’OpenAI indique qu’un modèle interne a produit les résultats et que l’entreprise prévoit des ateliers pour aider les mathématiciens à les comprendre. La publication soumet aussi une tâche d’évaluation importante aux mathématiciens : déterminer quels résultats sont fiables et utilisables.

L’IA peut produire des résultats de recherche candidats plus vite que les communautés scientifiques actuelles ne peuvent les assimiler. Cette publication illustre un risque, sans constituer une mesure de l’ensemble du système de recherche. À mon sens, les institutions devraient considérer la vérification, l’explication et le suivi indépendant comme un travail de recherche substantiel, avec des personnes et des financements dédiés. Une liste plus longue de résultats candidats ne peut pas accomplir ce travail à notre place.

Le grand changement

  • Ce qui change : Une entreprise peut présenter simultanément des centaines de manuscrits mathématiques produits par l’IA à une communauté de recherche. Les documents sont consultables, mais chaque résultat doit encore être évalué séparément.
  • Pourquoi c’est important : Les chercheurs qui veulent s’appuyer sur une affirmation doivent consacrer du temps à vérifier ses hypothèses, sa preuve et sa place dans les travaux antérieurs. Si la production de résultats candidats augmente plus vite que cette capacité, des corrections importantes ou des idées utiles risquent de rester enfouies dans la même file d’attente.
  • À surveiller : Les décisions portent désormais sur le soutien à la vérification indépendante et à l’explication, autant qu’à la publication. OpenAI a promis des ateliers ; un groupe consultatif indépendant recommande un financement piloté par la communauté et une provenance claire. Ces choix façonneront la capacité de chacun à évaluer et prolonger ces travaux.

Ce que le nombre de manuscrits demande aux évaluateurs

Le panorama du dépôt du 6 octobre comprend une affirmation sur les ensembles de Kakeya en quatre dimensions : tout ensemble contenant un segment de longueur unitaire dans chaque direction a une dimension de Hausdorff égale à quatre. Un manuscrit de la collection présente l’argument. Il s’agit d’une affirmation mathématique publiée par une entreprise et qui reste à examiner. Je ne peux pas en établir la justesse en lisant le panorama ou en comptant les articles.

Dans une inspection distincte d’une version figée du dépôt au 6 octobre, BIG CHANGE a recensé 722 manuscrits répartis en 372 familles de résultats. Une famille peut regrouper plusieurs articles apparentés. Ce chiffre décrit les fichiers d’une version de la collection ; il ne signifie pas que 722 découvertes ont été établies indépendamment. L’article précédent montre comment suivre un manuscrit jusqu’à un énoncé formel et à sa configuration de vérification. La question est ici de savoir comment une discipline peut réunir assez de lecteurs qualifiés pour effectuer ce travail alors que les affirmations se multiplient.

La formalisation peut aider. Un ordinateur peut vérifier si une preuve proposée établit un énoncé encodé avec précision selon des définitions, dépendances et axiomes spécifiés. Il faut toujours examiner si cet énoncé correspond à l’affirmation que les lecteurs pensent trouver dans l’article, si les hypothèses sont adaptées et comment le résultat se rattache aux travaux antérieurs. Certains articles de la collection ne sont pas formalisés ; un fichier Lean pour un énoncé ne valide pas un manuscrit entier. L’ inspection du dépôt explique ces limites sans prétendre avoir exécuté le vérificateur.

L’annonce de septembre sur Navier–Stokes montre pourquoi cette distinction dépasse l’inventaire d’un dépôt. OpenAI a déclaré que son système interne avait trouvé une construction de rupture forcée à énergie finie correspondant aux alternatives C et D de la formulation officielle de Clay, puis a publié un article et une formalisation Lean. Le 11 septembre, Clay a indiqué que le problème était « apparemment » résolu et que son évaluation et l’attribution du mérite prendraient du temps. Clay n’avait pas décerné de prix dans cette réponse. Le récit précédent de BIG CHANGE sur la séquence mathématique fournit le contexte technique. Ici, le point essentiel est le délai entre un résultat annoncé et un jugement mûrement réfléchi.

Donner des moyens et du crédit au travail de vérification

Le groupe consultatif indépendant sur les mathématiques et l’intelligence artificielle estime que la publication ouvre le travail de compréhension humaine. Ses recommandations du 29 septembre demandent aux laboratoires de vérifier la littérature et les attributions, de fournir des preuves lisibles, des informations sur l’usage des modèles et les tentatives infructueuses, et de formaliser lorsque c’est possible. Elles préconisent aussi de soutenir, notamment par des financements, le travail communautaire visant à comprendre et appliquer les résultats. Dans sa réponse du 6 octobre, le groupe a précisé que son rôle consultatif ne devait être interprété ni comme un soutien au processus d’OpenAI ni comme un jugement de l’impact des résultats.

J’intégrerais ce soutien aux pratiques normales de financement et d’évaluation de la recherche. Toute affirmation devrait être accompagnée de sa version, de la contribution de l’IA, de ses hypothèses, des éléments justificatifs et d’un moyen de signaler les corrections. Des spécialistes indépendants pourraient prioriser les travaux selon l’importance potentielle de l’affirmation et les conséquences d’une erreur. Un résultat dont dépendent d’autres preuves exige un effort d’examen différent de celui d’un calcul limité. Explications, réplications, vérifications infructueuses et corrections soigneuses devraient compter comme des contributions, même sans annoncer le premier résultat.

Cela demande davantage aux institutions sans présumer que les universitaires sont uniformément hostiles ou lents. L’examen mathématique protège l’attribution du mérite et détecte les erreurs ; la retenue responsable est précieuse lorsqu’un résultat servira de prémisse à d’autres travaux. Le problème de capacité vient du fait que produire un résultat candidat et acquérir une confiance justifiée en celui-ci mobilisent des formes de travail différentes. Une publication massive peut mettre à l’épreuve des institutions rigoureuses même lorsqu’elles font correctement leur travail.

Les applications pratiques peuvent tester la valeur dans leur périmètre

Les entreprises qui s’appuient sur la recherche peuvent mener de premiers tests pratiques. Une mise en œuvre peut montrer qu’une idée aide à accomplir une tâche définie, et un échec peut révéler une hypothèse erronée. Ces observations devraient être publiées avec leurs méthodes et limites pour que d’autres puissent les examiner. La réussite commerciale, à elle seule, ne prouve ni un théorème mathématique ni une affirmation scientifique générale.

La distinction varie selon les disciplines. En mathématiques, un produit fonctionnel ne tranche pas une preuve ; l’examen par des spécialistes et, lorsque c’est pertinent, la vérification formelle portent sur le théorème exact. En sciences computationnelles, il faut fournir assez de code, de données et de paramètres pour reproduire le résultat et tester sa sensibilité. Biologie et médecine exigent des étapes de preuve distinctes, du laboratoire aux études animales et humaines le cas échéant. En physique, une théorie ou une simulation appelle des observations ou des expériences confrontant ses prédictions. Une entreprise peut contribuer à chaque étape, mais les preuves d’une étape ne peuvent être implicitement promues à la suivante.

La tribune antérieure de BIG CHANGE sur les découvertes privées de l’IA et la science publique examinait qui contrôle l’accès aux résultats et aux outils. Même une publication publique laisse une autre question institutionnelle : les chercheurs ont-ils le temps, l’indépendance et les incitations nécessaires pour transformer des résultats candidats en connaissances fiables ? La réponse devrait se voir dans les réplications financées, les explications publiques et les corrections reconnues, pas seulement dans le prochain décompte des manuscrits.

Sources et lectures complémentaires