Udruženje za ljudsku matematiku (AHM) pozvalo je matematičare da prestanu da sarađuju sa OpenAI-jem nakon što je kompanija 6. oktobra objavila veliku zbirku matematike generisane veštačkom inteligencijom. U svojoj izjavi od 7. oktobra, glavna primedba grupe jeste korišćenje privatnog modela za rešavanje naprednih otvorenih problema i istovremena objava stotina nastalih radova. Grupa osporava tvrdnju OpenAI-ja da takav način objavljivanja unapređuje matematiku, iako javni fajlovi omogućavaju proveru pojedinačnih tvrdnji.

To je stav komunikacione radne grupe AHM-a. To nije glasanje matematičke zajednice niti zaključak da je svaki rukopis pogrešan. Terence Tao je ponovo objavio tekst kao gostujuću izjavu AHM-a, uz navođenje autorstva umesto predstavljanja teksta kao sopstvene izjave.

Velika promena

  • Šta se promenilo:Rasprava o OpenAI-jevoj arhivi sada seže dalje od valjanosti pojedinačnih rezultata. AHM osporava ulogu kompanije u izboru istraživačkih problema i određivanju uslova pod kojima matematičari dobijaju rezultate.
  • Zašto je važno:Spor se tiče toga ko može da pregleda alat koji je rezultate generisao i ko snosi posao provere i objašnjavanja masovne objave. Ta pitanja ostaju čak i kada se pojedinačni dokaz popravi ili formalizuje.
  • Šta pratiti:OpenAI kaže da će dodati formalizacije. Nezavisna procena izmenjenih tvrdnji i eventualne dalje ispravke označene verzijama razjasniće koje konkretne rezultate matematičari mogu da provere i razumeju.

Čemu se AHM protivi

AHM kaže da matematičari nisu tražili ovaj rad. Objavu više od 700 fajlova naziva pokazivanjem moći, a ne naučnim radom, i poziva čitaoce da sumnjaju u njegovu vrednost za oblast. Izjava se poziva i na nezavisnu Savetodavnu grupu za matematiku i veštačku inteligenciju (AGMAI), tvrdeći da je OpenAI zanemario početni zahtev te grupe da prestane da testira naprednu matematiku na internim modelima.

Za to pozivanje postoji jasan osnov. Smernice AGMAI-ja od 29. septembra kažu da bi vodeće laboratorije trebalo da prestanu da testiraju napredne probleme na vlasničkim modelima. Isti dokument zatim daje uslovne preporuke za objavljivanje rezultata ako su ih laboratorije već proizvele: jasno matematičko pisanje, odgovarajuće arhive, obelodanjivanje načina nastanka rada, formalizacija kada je moguća i podrška ljudskom razumevanju. U dokumentu se navodi da su preporuke zasnovane na više od 600 odgovora na anketu i da ih je podržala pluralnost ispitanika. Te činjenice ne pretvaraju kasniji poziv AHM-a da se prekine saradnja sa OpenAI-jem u direktivu AGMAI-ja niti odluku cele oblasti.

U svom odgovoru na objavu od 6. oktobra, AGMAI je izričito rekao da njegova savetodavna uloga ne znači podršku OpenAI-jevom postupku niti ocenu uticaja rezultata. Objavljivanje je opisao kao početak ljudske procene i naveo da samo matematička zajednica može da utvrdi koliko su preporuke ispoštovane. OpenAI je ranije opisao grupu kao nezavisnu i rekao da će ona savetovati o pregledu i komunikaciji, ali ne i kontrolisati tempo internog istraživanja kompanije. Razlika između saveta i ovlašćenja ovde je bitna: kritika AHM-a osporava odluke OpenAI-ja, ali nije dokaz da ih je spoljni odbor odobrio ili stavio veto na njih.

Evidenciju koja se menja i dalje treba proveravati

OpenAI-jeva arhiva kaže da zbirka sadrži radove u različitim fazama provere. Trenutni katalog navodi 719 rukopisa u 372 porodice. Jedna porodica može sadržati više radova. Arhiva navodi da nekim rukopisima nedostaju Lean formalizacije i da neki neformalizovani rezultati mogu imati probleme; izveštava da je formalizovano oko 42% glavnih rezultata. Formalizacija je precizan, mašinski proverljiv argument za određenu tvrdnju, a ne opšta potvrda svake tvrdnje u okolnom radu; status arhive nije zamena za nezavisnu matematičku proveru. Naš raniji pregled fajlova i podešavanja dokaza objašnjava kako pratiti taj obim.

Broj se promenio zato što su povučena tri rukopisa. OpenAI-jeva istorijska beleška od 7. oktobra povezuje povlačenja sa greškom u znaku u jednom dokazu koja je uticala i na dva zavisna rada. Beleška navodi izmene još 14 rukopisa, ažuriranje referenci u još 13 i šest dodatnih formalizacija. Naš izveštaj o tri obaveštenja o povlačenju objašnjava uži zaključak: navedeni argumenti više ne potkrepljuju tvrdnje tih radova; obaveštenja ne pobijaju matematičke tvrdnje. Povučeni dokaz, ispravljen rukopis i formalizovan rezultat različiti su statusi.

Izmene pokazuju koliko posla na proveri može zahtevati velika zbirka sa neujednačenom formalizacijom. To je naša analiza evidencije arhive, a ne tvrdnja iz izjave AHM-a. AHM se protivi odluci da se zbirka generiše i objavi pomoću vlasničkog modela. OpenAI je, s druge strane, obezbedio materijale označene verzijama koje istraživači mogu da pregledaju, isprave i o njima raspravljaju. Naša ranija analiza kapaciteta za proveru bavila se radom potrebnim da se veliki skup predloženih rezultata pretvori u razumljivu matematiku. Sadašnji spor dodaje oštrije pitanje: da li ovakva proizvodnja tolikog obima služi ljudima od kojih se očekuje da je procenjuju.

Izvori i dodatno čitanje