Асоцијација за хуману математику (AHM) позвала је математичаре да престану да сарађују са компанијом OpenAI након што је компанија 6. октобра објавила велику збирку математике коју је генерисала вештачка интелигенција. У својој изјави од 7. октобра, група се пре свега противи употреби приватног модела за решавање напредних отворених проблема и истовременом објављивању стотина радова који су из тога настали. Оспорава тврдњу компаније OpenAI да такав начин објављивања унапређује математику, иако јавне датотеке омогућавају проверу појединачних тврдњи.

То је став Радне групе за комуникације AHM-а. Није реч ни о гласању математичке заједнице ни о закључку да је сваки рукопис погрешан. Terence Tao поново је објавио текст као гостујућу изјаву AHM-а и навео ко је аутор уместо да је представи као сопствену изјаву.

Велика промена

  • Шта се променило: Расправа о репозиторијуму компаније OpenAI сада превазилази ваљаност појединачних резултата. AHM оспорава улогу компаније у избору истраживачких проблема и одређивању услова под којима математичари добијају резултате.
  • Зашто је то важно: Спор се тиче тога ко може да испита алат који је генерисао рад и ко сноси посао провере и објашњавања масовне објаве. Та питања остају чак и када се одређени доказ исправи или формализује.
  • Шта треба пратити: OpenAI каже да ће додати формализације. Независна процена измењених тврдњи и евентуалне касније исправке са означеним верзијама разјасниће које конкретне резултате математичари могу да провере и разумеју.

Шта AHM оспорава

AHM наводи да математичари нису тражили овај рад. Објављивање више од 700 датотека назива демонстрацијом моћи, а не научним радом, и тражи од читалаца да доведу у питање његову вредност за област. Изјава се позива и на независну Саветодавну групу за математику и вештачку интелигенцију (AGMAI), тврдећи да је OpenAI занемарио њен првобитни захтев да обустави тестирање напредне математике на интерним моделима.

Тај навод има јасно упориште. Смернице AGMAI од 29. септембра препоручују водећим лабораторијама да престану са тестирањем напредних проблема на власничким моделима. Исти документ потом даје условне препоруке за објављивање резултата ако су их лабораторије већ произвеле: јасно математичко писање, одговарајући репозиторијуми, откривање начина на који је рад настао, формализација када је могућа и подршка људском разумевању. У њему пише да су препоруке засноване на више од 600 одговора у анкети и да их је подржао највећи део испитаника. Те чињенице не претварају накнадни позив AHM-а да се прекине рад са компанијом OpenAI у директиву AGMAI-а или одлуку целе области.

У свом одговору од 6. октобра на објаву, AGMAI је изричито навео да његова саветодавна улога не значи подршку поступку компаније OpenAI нити оцену утицаја резултата. Објављивање је описао као почетак људске процене и рекао да само математичка заједница може да утврди колико су његове препоруке успешно примењене. OpenAI је раније описао групу као независну и навео да ће она саветовати о прегледу и комуникацији, али неће контролисати темпо интерног истраживања компаније. Овде је важна разлика између савета и овлашћења: критика AHM-а оспорава изборе компаније OpenAI, али не доказује да их је спољни одбор одобрио или забранио.

Променљиву евиденцију и даље треба проверити

У репозиторијуму компаније OpenAI пише да су радови у збирци у различитим фазама провере. У садашњем каталогу наведено је 719 рукописа у 372 породице. Једна породица може да обухвати више радова. Репозиторијум наводи да неки рукописи немају Lean формализације и да неформализовани резултати могу да имају проблеме; процењује да је формализовано око 42% главних резултата. Формализација је конкретан, машински проверљив аргумент за одређену тврдњу, а не општа потврда свих тврдњи у пратећем раду; статус у репозиторијуму такође није замена за независну математичку проверу. Наш ранији водич кроз датотеке и конфигурације доказа објашњава како да се прати тај опсег.

Број је промењен након повлачења три рукописа. У историјском запису компаније OpenAI од 7. октобра повлачења се приписују грешци у знаку у једном доказу која је утицала и на два рада заснована на њему. Запис бележи измене у још 14 рукописа, ажурирање референци у још 13 и шест додатних формализација. Наш извештај о три обавештења о повлачењу објашњава ужи закључак: наведени аргументи више не поткрепљују тврдње тих радова; обавештења не оповргавају математичке исказе. Повучени доказ, исправљени рукопис и формализован резултат различити су статуси.

Измене показују какав обим провере може да захтева велика збирка са неуједначеним степеном формализације. То је наша анализа записа репозиторијума, а не тврдња из изјаве AHM-а. AHM се противи одлуци да се збирка направи и објави помоћу власничког модела. Истовремено, OpenAI је обезбедио материјал означен верзијама који истраживачи могу да прегледају, исправљају и о њему расправљају. Наша ранија анализа капацитета за проверу бавила се радом потребним да се велики скуп предложених резултата претвори у разумљиву математику. Садашњи спор додаје оштрије питање: да ли толика количина рада произведена на овај начин користи људима од којих се очекује да је процене?

Извори и додатна литература