OpenAI je 6. oktobra objavio veliku zbirku matematičkih radova nastalih uz pomoć veštačke inteligencije. Ona sadrži rukopise, pregled navedenih rezultata i datoteke formalnih dokaza za neke od njih. objava OpenAI navodi da je rezultate proizveo interni model i da kompanija planira radionice koje bi matematičarima pomogle da ih razumeju. Objava pred matematičare stavlja i obiman zadatak procene: da odluče kojim rezultatima se može verovati i koji se mogu koristiti.

Veštačka inteligencija može da proizvede istraživačke rezultate-kandidate brže nego što sadašnje naučne zajednice mogu da ih prihvate i obrade. Ova objava ilustruje taj rizik; ona nije izmereno saznanje o celom istraživačkom sistemu. Po mom mišljenju, institucije treba da tretiraju proveru, objašnjavanje i nezavisno praćenje kao značajan istraživački rad i da za njega obezbede ljude i sredstva. Duži spisak rezultata-kandidata ne može da obavi te poslove umesto nas.

Velika promena

  • Šta se promenilo: Kompanija može istovremeno da predstavi istraživačkoj zajednici stotine matematičkih rukopisa nastalih uz pomoć veštačke inteligencije. Dokumenti su dostupni za uvid, ali tvrdnje i dalje treba procenjivati za svaki rezultat posebno.
  • Zašto je to važno: Istraživači koji žele da se oslone na neku tvrdnju moraju da utroše vreme na proveru njenih pretpostavki, dokaza i mesta u dosadašnjem radu. Ako broj rezultata-kandidata raste brže od kapaciteta za proveru, važne ispravke i korisne ideje mogle bi da ostanu zatrpane u istom redu.
  • Šta treba pratiti: Odluke se sada tiču podrške nezavisnoj proveri i objašnjenju, kao i objavljivanju. OpenAI je obećao radionice; nezavisna savetodavna grupa preporučuje finansiranje pod vođstvom zajednice i jasno navođenje porekla. Te odluke će odrediti ko može da procenjuje i nadograđuje rad.

Šta broj rukopisa znači za recenzente

U pregledu repozitorijuma od 6. oktobra nalazi se tvrdnja o Kakajijevim skupovima u četiri dimenzije: svaki skup koji sadrži jediničnu duž u svakom pravcu ima Hausdorffovu dimenziju četiri. Jedan rukopis iz zbirke izlaže argument. To je matematička tvrdnja koju je objavila kompanija i koja je i dalje pod lupom. Ne mogu da utvrdim da li je tačna čitajući pregled ili brojeći radove.

U odvojenom uvidu u fiksirani snimak repozitorijuma od 6. oktobra, BIG CHANGE je prebrojao 722 rukopisa u 372 porodice rezultata. Jedna porodica može da obuhvati više srodnih radova. Broj opisuje datoteke u jednoj verziji zbirke; ne znači da je 722 otkrića nezavisno potvrđeno. Taj raniji članak pokazuje kako čitalac može da prati rukopis do formalne tvrdnje i konfiguracije za njenu proveru. Ovde je pitanje kako jedna oblast može da obezbedi dovoljno kvalifikovanih čitalaca za taj posao dok niz tvrdnji raste.

Formalizacija može da pomogne. Računar može da proveri da li predloženi dokaz uspostavlja precizno kodiran iskaz pod određenim definicijama, zavisnostima i aksiomama. Ipak, neko mora da ispita da li se taj iskaz poklapa sa tvrdnjom za koju čitaoci misle da je rad iznosi, da li su pretpostavke prikladne i kako se rezultat odnosi prema ranijim radovima. Neki radovi u zbirci nemaju formalizacije; Lean datoteka za jedan iskaz ne recenzira ceo rukopis. uvid u repozitorijum objašnjava ova ograničenja, ali ne tvrdi da je pokrenut alat za proveru.

Septembarska objava o Navije–Stoksovim jednačinama pokazuje zašto ova razlika ima posledice šire od popisa repozitorijuma. OpenAI je saopštio da je njegov interni sistem pronašao konstrukciju prisilnog sloma sa konačnom energijom koja se odnosi na alternative C i D u zvaničnoj formulaciji instituta Clay, i objavio rad i formalizaciju u Lean-u. Institut Clay je 11. septembra saopštio da je problem „naizgled“ rešen i da će procena i priznavanje zasluga biti bez žurbe. U tom odgovoru Clay nije dodelio nagradu. raniji prikaz matematičkog niza događaja na BIG CHANGE pruža tehnički kontekst. Ovde je poenta u vremenu između objavljenog rezultata i promišljene procene.

Proveru treba finansirati i priznati kao zaseban doprinos

Nezavisna savetodavna grupa za matematiku i veštačku inteligenciju tvrdi da objavljivanje započinje rad na ljudskom razumevanju. Njene preporuke od 29. septembra pozivaju laboratorije da provere literaturu i navođenje zasluga, obezbede čitljive dokaze, informacije o upotrebi modela i neuspelim pokušajima, kao i formalizaciju kad je moguća. Traže i podršku, uključujući finansiranje, za rad zajednice na razumevanju i primeni rezultata. U svom odgovoru od 6. oktobra, grupa je navela da njenu savetodavnu ulogu ne treba smatrati podrškom postupku OpenAI niti ocenom uticaja rezultata.

Tu podršku bih učinio uobičajenim delom finansiranja i vrednovanja istraživanja. Uz tvrdnju treba navesti njenu verziju, doprinos veštačke inteligencije, pretpostavke, prateće materijale i način za prijavu ispravki. Nezavisni stručnjaci mogli bi da odrede prioritete prema mogućem značaju tvrdnje i posledicama greške. Rezultat od kojeg zavise drugi dokazi zahteva drugačiji napor u proveri od ograničenog proračuna. Objašnjenja, replikacije, neuspele provere i pažljive ispravke treba da se računaju kao doprinosi, čak i kada ne objavljuju prvi rezultat.

Ovo zahteva više od institucija, ali ne polazi od pretpostavke da su akademici uvek neprijateljski nastrojeni ili spori. Matematička recenzija štiti priznavanje zasluga i otkriva greške; odgovorna uzdržanost je važna kada će rezultat postati polazište za dalji rad. Problem kapaciteta nastaje zato što stvaranje rezultata-kandidata i sticanje opravdanog poverenja u njega zahtevaju različite vrste rada. Obimna objava može da optereti pažljive institucije čak i kada one svoj posao obavljaju dobro.

Praktična primena može da proveri vrednost unutar svog dometa

Kompanije koje razvijaju proizvode na osnovu istraživanja mogu rano da ponude praktične provere. Implementacija može da pokaže da ideja pomaže u određenom zadatku, a neuspešna implementacija može da otkrije pogrešnu pretpostavku. Takva zapažanja treba objaviti uz metode i ograničenja kako bi ih drugi mogli proveriti. Sam komercijalni uspeh ne dokazuje matematičku teoremu niti opštu naučnu tvrdnju.

Razlika zavisi od discipline. U matematici funkcionalan proizvod ne rešava dokaz; stručna provera i, gde je prikladno, formalna verifikacija bave se tačnom teoremom. U računarskim naukama drugima je potrebno dovoljno koda, podataka i podešavanja da ponove rezultat i provere osetljivost. Biologija i medicina zahtevaju odvojene faze dokaza, od laboratorijskog rada do studija na životinjama i ljudima kada je to primenljivo. U fizici teorija ili simulacija zahteva posmatranja ili eksperimente koji ispituju predviđanja. Kompanija može da doprinese u bilo kojoj od tih faza, ali se dokaz iz jedne faze ne može neprimetno unaprediti u dokaz za sledeću.

Raniji komentar BIG CHANGE o privatnim otkrićima veštačke inteligencije i javnoj nauci razmatrao je ko kontroliše pristup rezultatima i alatima. Čak i kada je objava javna, ostaje institucionalno pitanje: imaju li istraživači vreme, nezavisnost i podsticaje da rezultate-kandidate pretvore u pouzdano znanje. Odgovor treba da se vidi u finansiranoj replikaciji, javnim objašnjenjima i priznatim ispravkama, a ne samo u sledećem broju rukopisa.

Izvori i dodatna literatura