人類數學協會(AHM)在 OpenAI 於 10 月 6 日發布大量 AI 生成數學內容後,呼籲數學家停止與該公司合作。在其10 月 7 日聲明中,該團體的核心反對理由是使用私人模型處理高階開放問題,並一次發布數百篇由此產生的論文。它質疑 OpenAI 所稱此種發布模式能促進數學發展,即使公開檔案也讓個別主張可以接受檢視。

這是 AHM 傳訊工作小組的立場,既不是數學界的投票,也不是認定每份手稿都有錯。Terence Tao以 AHM 客座聲明形式轉載該文,並標明作者身分,而非把它當作自己的聲明。

重大變化

  • 變了什麼:對 OpenAI 資料庫的爭論已超出個別結果是否有效。AHM 質疑該公司在選擇研究問題,以及決定數學家如何取得成果方面所扮演的角色。
  • 為何重要:爭議涉及誰能檢視生成工具,以及誰要承擔核查並解釋大規模發布成果的工作。即使某項證明獲得修正或形式化,這些問題仍然存在。
  • 接下來觀察:OpenAI 表示將增加形式化工作。對修訂後主張的獨立評估,以及任何後續的版本化更正,將有助釐清數學家能驗證並理解哪些具體結果。

AHM 反對什麼

AHM 表示數學家並未要求這項工作。它將發布 700 多個檔案形容為展示力量而非學術研究,並請讀者懷疑這對數學領域的價值。聲明也援引獨立的數學與人工智慧諮詢小組(AGMAI),稱 OpenAI 無視該小組最初要求停止以內部模型測試高階數學的請求。

這項引用有明確依據。AGMAI 9 月 29 日的指引指出,前沿實驗室應停止以專有模型測試高階問題。同一份文件接著對已產生結果的實驗室提出有條件的發布建議:清楚的數學論述、適當的資料庫、揭露成果如何產生、盡可能形式化,以及支持人類理解。文件稱其建議參考了逾 600 份問卷回覆,並獲多數受訪者支持。這些事實不會把 AHM 後來呼籲停止與 OpenAI 合作的立場,變成 AGMAI 指令或整個領域的決定。

在10 月 6 日對發布事件的回應中,AGMAI 明確表示其諮詢角色並未認可 OpenAI 的流程,也未評判成果的影響。它將發布描述為人類評估的開始,並表示只有數學界能判定其建議受到遵循的程度。OpenAI 先前將該小組描述為獨立機構,並表示小組會就審查與溝通提供建議,但不控制公司內部研究的進度。建議與權限之間的差別在此很重要:AHM 批評的是 OpenAI 的選擇,並非外部委員會曾批准或否決這些選擇的證據。

變動中的紀錄仍值得查核

OpenAI 的資料庫指出,這批成果處於不同的驗證階段。目前目錄列有719 篇手稿、分為 372 個系列。一個系列可能包含多篇論文。資料庫稱部分手稿沒有 Lean 形式化版本,部分未形式化結果可能存在問題;它報告約 42% 的頂層結果已形式化。形式化是針對特定命題、可由機器檢查的明確論證,並非對周邊論文中每項主張的全面確認;資料庫所列狀態也不能取代獨立數學審查。我們先前的檔案與證明設定導覽說明如何追查其範圍。

數量變動是因為三篇手稿已撤回。OpenAI 的10 月 7 日歷史紀錄將撤回歸因於一項證明中的符號錯誤,該錯誤也影響兩篇相依論文。紀錄還列出另外 14 篇手稿的修訂、13 篇的參考資料更新,以及新增六項形式化工作。我們的三份撤回通知報導說明較窄的結論:被指出的論證不再支持那些論文的主張;通知並未推翻數學命題本身。撤回的證明、修訂後的手稿與已形式化的結果,是不同狀態。

這些修訂呈現了大型且形式化程度不一的資料集可能需要多少審查工作。這是我們對資料庫紀錄的分析,不是 AHM 聲明中的主張。AHM 反對以專有模型生成並發布這批內容的決定。另一方面,OpenAI 提供了帶有版本資訊的材料,供研究者檢視、修正與辯論。我們先前對審查量能的分析討論了將大量提議結果轉化為可理解數學內容所需的勞力。當前爭議又提出更尖銳的問題:以這種方式產生如此大量工作,是否服務了預期要評估它的人。

來源與延伸閱讀