인간 수학 협회(AHM)는 OpenAI가 10월 6일 AI 생성 수학 자료를 대규모로 공개한 뒤 수학자들에게 OpenAI와의 협력을 중단하라고 촉구했다. 10월 7일 성명에서 이 단체가 핵심적으로 문제 삼은 것은 비공개 모델로 고난도 미해결 문제를 다루고 그 결과물 수백 편을 한꺼번에 공개한 일이다. 공개 파일에서 개별 주장을 살펴볼 수 있게 되었지만, AHM은 이런 공개 방식이 수학을 발전시킨다는 OpenAI의 주장을 반박한다.

이는 AHM 커뮤니케이션 실무그룹의 입장이다. 수학계 전체의 투표도 아니고 모든 원고가 틀렸다는 판단도 아니다. Terence Tao는 해당 글을 AHM의 객원 성명으로 다시 게시했고, 자신의 성명으로 내세우지 않고 작성 주체를 밝혔다.

큰 변화

  • 달라진 점:OpenAI 저장소를 둘러싼 논쟁은 이제 개별 결과의 타당성을 넘어선다. AHM은 연구 문제를 선택하고 수학자들이 결과물을 받는 조건을 정하는 데 OpenAI가 어떤 역할을 하는지 문제 삼는다.
  • 중요한 이유:누가 생성 도구를 살펴볼 수 있는지, 대량 공개 결과를 검증하고 설명하는 일을 누가 맡는지가 쟁점이다. 특정 증명이 수정되거나 형식화되어도 이런 질문은 남는다.
  • 지켜볼 점:OpenAI는 형식화된 결과를 추가하겠다고 밝혔다. 수정된 주장에 대한 독립적 평가와 이후 버전별 정정이 이어지면 수학자들이 어떤 구체적 결과를 검증하고 이해할 수 있는지 분명해질 것이다.

AHM이 반대하는 것

AHM은 수학자들이 이 작업을 요청하지 않았다고 말한다. 700개가 넘는 파일의 공개를 학술 연구가 아니라 힘의 과시라고 부르며, 학계에 주는 가치에 회의적이어야 한다고 독자들에게 권한다. 성명은 독립 자문단인 수학·인공지능 자문그룹(AGMAI)도 인용하며, OpenAI가 내부 모델로 고급 수학을 시험하지 말라는 그 그룹의 최초 요청을 무시했다고 주장한다.

이 인용에는 분명한 근거가 있다. AGMAI의 9월 29일 지침은 선도 연구소가 독점 모델로 고난도 문제를 시험하는 일을 중단해야 한다고 말한다. 같은 문서는 이미 결과물을 만든 연구소에 조건부 공개 권고도 제시한다. 명확한 수학적 서술, 적절한 저장소, 작업 생성 방식의 공개, 가능한 경우 형식화, 인간의 이해를 돕는 지원이다. 권고는 600건이 넘는 설문 응답을 바탕으로 했고 응답자 중 복수의 지지를 받았다고 문서는 밝힌다. 이런 사실이 OpenAI와 협력을 중단하라는 AHM의 후속 촉구를 AGMAI의 지침이나 수학계 전체의 결정으로 바꾸지는 않는다.

10월 6일 공개에 대한 응답에서 AGMAI는 자문 역할이 OpenAI의 절차를 지지하거나 결과의 영향을 판단하는 뜻이 아니라고 명시했다. 공개는 인간 검토의 시작이라고 설명했으며, 권고가 얼마나 지켜졌는지는 수학계만 판단할 수 있다고 했다. OpenAI는 이전에 해당 그룹을 독립적인 조직으로 소개했고, 검토와 소통에 조언하되 회사 내부 연구 속도를 통제하지는 않는다고 밝혔다. 여기서는 조언과 권한의 차이가 중요하다. AHM의 비판은 OpenAI의 선택에 문제를 제기하는 것이지 외부 위원회가 이를 승인하거나 거부했다는 증거가 아니다.

기록이 바뀌어도 계속 확인해야 한다

OpenAI의 저장소는 자료가 검증의 서로 다른 단계에 있다고 설명한다. 현재 목록에는 719편의 원고와 372개 연구군이 있다. 하나의 연구군에 여러 논문이 포함될 수 있다. 저장소는 일부 원고에 Lean 형식화가 없고 형식화되지 않은 일부 결과에 문제가 있을 수 있다고 밝히며, 최상위 결과의 약 42%가 형식화됐다고 보고한다. 형식화는 특정 명제에 대해 명시되고 기계로 확인할 수 있는 논증이지, 논문 전체의 모든 주장을 포괄적으로 확인하는 것은 아니다. 저장소의 상태도 독립적인 수학 검토를 대신하지 않는다. 이전의 파일과 증명 구성을 살펴본 안내는 그 범위를 추적하는 법을 설명한다.

원고 세 편이 철회되면서 수치가 바뀌었다. OpenAI의 10월 7일 변경 기록은 철회 원인이 한 증명의 부호 오류이며, 이 오류가 의존 관계에 있는 다른 두 논문에도 영향을 미쳤다고 설명한다. 기록에는 추가 원고 14편의 수정, 다른 13편의 참고문헌 갱신, 형식화 6건 추가도 적혀 있다. 우리의 세 건의 철회 공지 보도는 더 제한적인 결론을 설명한다. 지적된 논증은 해당 논문들의 주장을 더는 뒷받침하지 않지만, 공지 자체가 수학적 명제를 반증하지는 않는다. 철회된 증명, 수정된 원고, 형식화된 결과는 서로 다른 상태다.

수정 내역은 규모가 크고 형식화 수준이 고르지 않은 자료를 검토하는 데 필요한 작업량을 보여 준다. 이는 AHM 성명의 주장이 아니라 저장소 기록에 대한 우리의 분석이다. AHM은 독점 모델로 자료를 생성하고 공개하기로 한 결정에 반대한다. 한편 OpenAI는 연구자가 검토하고 수정하며 논의할 수 있도록 버전이 표시된 자료를 제공했다. 검토 역량에 관한 이전 분석은 제안된 결과를 이해 가능한 수학으로 바꾸는 데 필요한 노동을 다뤘다. 이번 논쟁은 그보다 더 직접적인 질문을 덧붙인다. 이런 방식으로 방대한 작업을 만들어 내는 것이 이를 평가해야 하는 사람들에게 도움이 되는가.

출처 및 더 읽을거리