Ассоциация гуманной математики (AHM) призвала математиков прекратить сотрудничество с OpenAI после того, как 6 октября компания опубликовала большую коллекцию математики, созданной ИИ. В своём заявлении от 7 октября группа прежде всего возражает против использования частной модели для решения сложных открытых задач и одновременной публикации сотен полученных в результате работ. Она оспаривает утверждение OpenAI о том, что такая модель публикации развивает математику, хотя открытые файлы позволяют проверять отдельные утверждения.

Такова позиция рабочей группы AHM по коммуникациям. Это не голосование математического сообщества и не вывод о том, что каждая рукопись ошибочна. Terence Tao перепубликовал текст как гостевое заявление AHM, указав авторство группы, а не представив его как собственное заявление.

Главное изменение

  • Что изменилось: Спор о репозитории OpenAI теперь касается не только достоверности отдельных результатов. AHM оспаривает роль компании в выборе исследовательских задач и определении условий, на которых математики получают результаты.
  • Почему это важно: Спор идёт о том, кто может изучать инструмент, создавший результаты, и кто возьмёт на себя проверку и объяснение массовой публикации. Эти вопросы остаются даже после исправления или формализации конкретного доказательства.
  • За чем следить: OpenAI заявляет, что добавит формализации. Независимая оценка пересмотренных утверждений и возможные дальнейшие исправления с указанием версий прояснят, какие именно результаты математики могут проверить и понять.

Что оспаривает AHM

AHM утверждает, что математики не просили об этой работе. Публикацию более 700 файлов она называет демонстрацией силы, а не научным трудом, и призывает читателей усомниться в её ценности для этой области. В заявлении также упоминается независимая Консультативная группа по математике и искусственному интеллекту (AGMAI): по словам AHM, OpenAI проигнорировала её первоначальный призыв прекратить проверять сложную математику на внутренних моделях.

У этой ссылки есть конкретное основание. Рекомендации AGMAI от 29 сентября советуют передовым лабораториям прекратить проверять сложные задачи на собственных моделях. В том же документе содержатся условные рекомендации по публикации результатов, если лаборатории уже их получили: ясное изложение математики, подходящие репозитории, раскрытие способа создания работы, формализация при возможности и поддержка человеческого понимания. В документе сказано, что рекомендации основаны на более чем 600 ответах на опрос и получили поддержку наибольшей группы респондентов. Эти факты не превращают последующий призыв AHM прекратить сотрудничество с OpenAI в директиву AGMAI или решение всей области.

В своём ответе от 6 октября на публикацию, AGMAI прямо заявила, что её консультативная роль не означает одобрения процедуры OpenAI или оценки влияния результатов. Публикацию она назвала началом человеческой проверки и отметила, что только математическое сообщество может установить, насколько успешно были выполнены её рекомендации. Ранее OpenAI описала группу как независимую и заявила, что та будет консультировать по вопросам проверки и коммуникации, но не контролировать темп внутренних исследований компании. Здесь важна разница между советом и полномочиями: критика AHM оспаривает решения OpenAI, но не доказывает, что внешний совет их одобрил или запретил.

Меняющуюся картину всё равно нужно проверять

В репозитории OpenAI говорится, что работы в коллекции находятся на разных стадиях проверки. В нынешнем каталоге указаны 719 рукописей в 372 семействах. В одно семейство может входить несколько статей. По данным репозитория, в некоторых рукописях нет формализаций на Lean, а в отдельных неформализованных результатах могут быть проблемы; около 42% главных результатов, как утверждается, формализованы. Формализация — это конкретное проверяемое машиной доказательство определённого утверждения, а не всеобщее подтверждение каждой мысли в связанной статье; статус репозитория не заменяет независимую математическую экспертизу. В нашем прежнем обзоре файлов и конфигураций доказательств объясняется, как проследить этот охват.

После отзыва трёх рукописей число изменилось. В записи истории OpenAI от 7 октября причиной отзывов названа ошибка знака в одном доказательстве, затронувшая ещё две зависимые статьи. Там также указаны правки в 14 других рукописях, обновления ссылок ещё в 13 и шесть дополнительных формализаций. В нашем материале о трёх уведомлениях об отзыве сформулирован более узкий вывод: указанные аргументы больше не подтверждают утверждения этих статей; уведомления не опровергают сами математические положения. Отозванное доказательство, исправленная рукопись и формализованный результат — разные статусы.

Изменения показывают, какой объём проверки может потребоваться для крупной коллекции с неодинаковой степенью формализации. Это наш анализ данных репозитория, а не утверждение из заявления AHM. AHM выступает против решения создать и опубликовать коллекцию с помощью проприетарной модели. В то же время OpenAI предоставила материалы с указанием версий, которые исследователи могут проверять, исправлять и обсуждать. В нашем прежнем анализе возможностей проверки рассматривалась работа, необходимая для превращения большого числа предполагаемых результатов в понятную математику. Текущий спор ставит более острый вопрос: помогает ли такой способ производства огромного объёма работ тем, кому предстоит их оценивать?

Источники и дополнительная литература