10月6日、OpenAIはAIが生み出した数学研究の大規模なコレクションを公開した。論文、主張されている成果の概要、一部の成果に関する形式証明のファイルが含まれる。 OpenAIの発表 によると、成果は社内モデルが生成し、数学者の理解を助けるワークショップを開催する予定だという。今回の公開は数学者に、どの成果を信頼し活用できるか判断するという大きな評価作業も求めている。

AIは、現在の科学界が受け止められるより速く、研究成果の候補を生み出す可能性がある。今回の公開はそのリスクを示す事例であり、研究システム全体を測定した結果ではない。私の考えでは、機関は検証、説明、独立した追跡調査を重要な研究業務と捉え、人員と資金を割り当てるべきだ。候補成果の一覧が長くなっても、そうした役割を代わりに果たすことはできない。

大きな変化

  • 何が変わったのか： 企業はAI生成の数学論文を何百本も一度に研究コミュニティへ提示できる。文書は閲覧できるが、主張は成果ごとに評価する必要がある。
  • なぜ重要なのか： 主張を研究の土台にしたい研究者は、その仮定、証明、先行研究との関係を確認する時間を費やさなければならない。候補成果が検証能力を上回る速さで増えれば、重要な訂正や有用なアイデアが同じ待ち行列に埋もれるおそれがある。
  • 注目点： 現在の課題は公開だけでなく、独立した検証や説明をどう支援するかにも及ぶ。OpenAIはワークショップを約束し、独立諮問グループはコミュニティ主導の資金提供と明確な出所表示を提案している。こうした選択が、誰に研究を評価し発展させる力があるかを左右する。

論文数が査読者に求めるもの

10月6日の リポジトリ概要 には、4次元カケヤ集合に関する主張が含まれる。あらゆる方向の単位線分を含む集合はハウスドルフ次元が4である、というものだ。コレクションの 論文の一つ がその論証を示す。これは企業が公開し、現在検討中の数学的主張だ。概要を読んだり論文を数えたりするだけでは、正しさを確立できない。

別途、 10月6日に固定されたリポジトリのスナップショットを調査したところ、BIG CHANGEは372の結果群にまたがる722本の論文を数えた。1つの群に複数の関連論文が含まれることもある。この数値はコレクションのある版に含まれるファイル数を示すもので、722件の発見が独立に確立されたという意味ではない。以前の記事では、論文から形式的な命題と検証設定をたどる方法を紹介した。ここで問うのは、主張の流れが増えるなかで、分野がその作業を担う十分な有資格の読者をどう確保するかだ。

形式化は役立つ可能性がある。指定された定義、依存関係、公理のもとで、提案された証明が厳密に符号化された命題を立証しているか、コンピューターで検証できる。それでも、その命題が読者の考える論文の主張と一致するか、仮定が適切か、先行研究とどう関係するかは人が検討しなければならない。コレクション内には形式化されていない論文もある。ある命題のLeanファイルが論文全体を査読するわけではない。 リポジトリ調査 は、チェッカーを実行したと主張せずにこうした限界を説明している。

9月の ナビエ–ストークスに関する発表 は、この区別がリポジトリの一覧を超えて影響する理由を示す。OpenAIは、社内システムが クレイ研究所の公式定式化における選択肢CとDに対応する、外力を伴う有限エネルギーの破綻構成を見つけたと発表し、論文とLeanによる形式化を公開した。9月11日、 クレイ研究所は 問題が「見かけ上」解決したとし、評価と功績の帰属は急がないと述べた。この回答でクレイ研究所が賞を授与したわけではない。BIG CHANGEの 数学的な経緯をまとめた以前の記事 は技術的な背景を示す。ここで重要なのは、発表された結果と熟慮された判断との間にある時間だ。

検証に独自の資源と評価を与える

独立した 数学・人工知能諮問グループ は、発表は人間が理解する作業の始まりだと主張する。 9月29日の提言 は研究機関に、文献と功績の確認、読みやすい証明、モデル利用と失敗した試行の情報、可能な場合の形式化を求める。また、結果の理解と応用に取り組むコミュニティ主導の活動を、資金提供も含めて支援するよう求めている。グループは 10月6日の回答で、諮問の役割はOpenAIの手続きへの支持でも、結果の影響に関する判断でもないと述べた。

私は、その支援を研究資金と評価の通常の一部にしたい。主張には版、AIの寄与、仮定、裏付け資料、訂正を報告する手段を添えるべきだ。独立した専門家は、主張の潜在的重要性と誤りの影響に応じて作業の優先順位を付けられる。他の証明が依存する結果には、限定的な計算とは異なる審査努力が必要だ。説明、再現、失敗した検証、慎重な訂正も、最初の結果を発表するものでなくても貢献として扱うべきだ。

これは機関により多くを求めるが、研究者が一様に敵対的または遅いと決めつけるものではない。数学の審査は功績を守り、誤りを見つける。結果が後続研究の前提になるとき、責任ある慎重さには価値がある。候補結果を生み出す作業と、それを信頼できる根拠を築く作業では、必要な労働が異なるため、能力の問題が生じる。大規模な公開は、慎重な機関が適切に仕事をしていても負担になりうる。

実用化は、その範囲内で価値を試せる

研究を基に製品を開発する企業は、早期の実用テストを提供できる。実装によって、特定の作業にアイデアが役立つと示せる場合もあれば、失敗が誤った仮定を明らかにする場合もある。他者が検討できるよう、方法と限界とともに観察結果を公開すべきだ。商業的な成功だけで数学の定理や一般的な科学的主張が証明されるわけではない。

この違いは分野によって異なる。数学では、動く製品が証明を確定することはない。専門家による検討と、適切な場合の形式検証が、正確な定理を扱う。計算科学では、他者が結果を再現し感度を調べるために、十分なコード、データ、設定が必要だ。生物学と医学では、該当する場合、実験室から動物・人を対象とする研究まで段階ごとに別の証拠が求められる。物理学では、理論やシミュレーションの予測を観測や実験で確かめる。企業はどの段階にも貢献できるが、ある段階の証拠を次の段階へ暗黙に格上げしてはならない。

BIG CHANGEの以前の論考「 非公開のAI発見と公共の科学 」は、成果やツールへのアクセスを誰が管理するかを論じた。公開されても、別の制度的な問いが残る。研究者には候補成果を信頼できる知識に変える時間、独立性、動機があるのか。答えは次の論文数だけでなく、資金を得た再現研究、公開の説明、貢献として認められる訂正に表れるべきだ。

出典と参考資料