Boris Power: istraživanja OpenAI-ja uglavnom su usmerena na kasnije generacije GPT-a

Na skupu Fellows Forum, 23. septembra, Boris Power, rukovodilac primenjenih istraživanja u OpenAI-ju, procenio je da se 80–90% istraživanja kompanije usredsređuje na „GPT-7, GPT-8 i kasnije generacije“. Izneo je procenu objašnjavajući kako OpenAI usklađuje rad na sadašnjim proizvodima sa istraživanjem sposobnijih modela. To je njegova procena iz javnog razgovora; OpenAI nije objavio raspodelu istraživačkih resursa sa kojom bi se ona mogla uporediti.

Suštinska promena

• Šta se promenilo: Power je opisao dva povezana pravca rada: unapređenje modela koje ljudi danas koriste i istraživanje usmereno na naredne generacije. Procenio je da se većina istraživanja OpenAI-ja odnosi na ovaj drugi pravac.
• Zašto je to važno: Snažniji veliki model može da obezbedi primere za obuku manjeg i jeftinijeg modela za određeni zadatak. Zato razvojni timovi imaju razlog da prate istraživanja najnaprednijih modela i kada se u proizvodima oslanjaju na manje modele.
• Na šta obratiti pažnju: Buduća izdanja modela i tehnička obelodanjivanja pokazaće da li se napredak velikih modela prenosi na manje. U intervjuu nisu navedeni datumi izdavanja, specifikacije niti rezultati za GPT-7 ili GPT-8.

Kontekst Powerove procene

Power je odgovarao na pitanje Zacharyja Liptona o tome kako se zahtevi korisnika vraćaju u istraživanje. Rekao je da OpenAI može da unapredi određeno ponašanje, poput korišćenja alata, specijalizovanim podacima za obuku i primenjenim istraživanjem. Prema njegovom objašnjenju, takve potrebe se često rešavaju postepenim izmenama unutar jedne generacije modela. Tvrdio je da nova generacija većih modela može da promeni koje su specijalizovane dorade i dalje potrebne. Neka sadašnja ulaganja opisao je kao načine da se danas brže uči i napreduje, iako ona nisu dugoročna strategija.

Ta razlika dovela je do procene od 80–90% u 1:32:52 snimka skupa Fellows Forum. Power je govorio o istraživanjima u OpenAI-ju, a ne samo u sopstvenom timu. Ni snimak ni objavljeni materijali OpenAI-ja ne definišu koja se istraživanja broje, vremenski period, budžet, broj zaposlenih ili metod po kom je procena izvedena. Zato brojku treba čitati kao Powerov opis prioriteta, a ne kao proverenu meru ulaganja ili broja zaposlenih u kompaniji.

Power je naveo GPT-7 i GPT-8 kao primere kasnijih generacija. Nije najavio nijedan od tih modela, otkrio fazu razvoja niti dao raspored izdavanja. U aktuelnom katalogu modela OpenAI-ja navedeni su GPT-6 Astra, Sol i Luna; katalog pruža javni kontekst za imena koja je Power pomenuo, ali ne dokazuje ništa o stanju kasnijih generacija.

Zašto je pomenuo destilaciju

Neposredno nakon procene Power je opisao kako veliki model GPT-6 Astra podučava manji model GPT Luna. Poenta mu je bila da snažan veliki model može da pruži primere za obuku manjeg. Objašnjavao je istraživački pristup, a ne dokumentovao da je neki objavljeni model Luna zaista obučen na osnovu modela Astra.

OpenAI-jevo uputstvo za fino podešavanje uz nadgledanje opisuje taj postupak. Razvojni tim prvo proverava da li veći model dobro radi određeni zadatak, zatim zadržava odgovarajuće izlaze, koristi ih kao primere za obuku manjeg modela i procenjuje njegov učinak na tom zadatku. OpenAI navodi da se tako manji model može približiti učinku većeg na konkretnom zadatku. To ne znači da manji model nasleđuje sve sposobnosti modela koji ga je podučavao. OpenAI-jeva objava o destilaciji modela takođe opisuje evaluaciju, prikupljanje izlaza i fino podešavanje kao ponavljajući postupak.

Ova ideja ima dužu istoriju. U istraživačkom radu iz 2015. Geoffrey Hinton, Oriol Vinyals i Jeff Dean proučavali su prenošenje znanja iz većih sistema u model koji se lakše primenjuje. Taj rad objašnjava koncept nastavnika i učenika, ali ne govori ništa o sadašnjoj raspodeli istraživanja u OpenAI-ju.

Time se objašnjava veza koju je Power povukao između istraživanja najnaprednijih modela i praktičnih modela. Sposobniji model-nastavnik može da napravi koristan materijal za obuku manjih sistema namenjenih određenom zadatku. Uspeh zavisi od zadatka, izabranih primera i načina procene. Power nije izneo rezultate destilacije ni uporedna merenja za primer Astra–Luna.

Powerova procena je zanimljiva jer izražava njegov stav o tome gde OpenAI očekuje najveću vrednost istraživanja. Javni dokazi potvrđuju da je dao tu izjavu i opšti postupak na koji se pozvao. Ne pokazuju kako su resursi OpenAI-ja zaista raspoređeni niti šta će doneti neka buduća generacija GPT-a.