Ayon kay Boris Power, nakatuon ang karamihan ng pananaliksik ng OpenAI sa mga susunod na henerasyon ng GPT

Sa Fellows Forum noong Setyembre 23, tinaya ni Boris Power, pinuno ng applied research ng OpenAI, na nakatuon ang 80–90% ng pananaliksik ng kompanya sa “GPT-7, GPT-8 at mga susunod pa.” Inilahad niya ang bilang habang ipinapaliwanag kung paano binabalanse ng OpenAI ang paggawa sa mga kasalukuyang produkto at pananaliksik sa mas may kakayahang mga modelo. Pagtataya niya ito sa pampublikong talakayan; hindi naglathala ang OpenAI ng paghahati ng pananaliksik na maaaring paghambingan.

Ang malaking pagbabago

• Ano ang nagbago:Inilarawan ni Power ang dalawang magkaugnay na direksiyon: pagpapahusay sa mga modelong ginagamit ngayon at pananaliksik na nakatuon sa mga susunod na henerasyon. Tinataya niyang karamihan ng pananaliksik ng OpenAI ay nasa ikalawang direksiyon.
• Bakit mahalaga:Maaaring magbigay ng mga halimbawang pangsanay ang mas mahusay na malaking modelo sa mas maliit at mas murang modelong nakatuon sa takdang gawain. Dahil dito, may dahilan ang mga developer na subaybayan ang pananaliksik sa nangungunang mga modelo kahit mas maliliit na modelo ang ginagamit nila sa mga produkto.
• Ano ang dapat bantayan:Maaaring ipakita ng mga susunod na paglabas ng modelo at teknikal na pagsisiwalat kung umaabot sa mas maliliit na modelo ang mga pagsulong sa malalaki. Walang ibinigay na petsa ng paglabas, espesipikasyon o resulta para sa GPT-7 o GPT-8 sa panayam.

Konteksto sa likod ng pagtataya

Sinasagot ni Power ang tanong ni Zachary Lipton tungkol sa kung paano nagiging bahagi ng pananaliksik ang mga kahilingan ng customer. Ayon sa kaniya, kayang paghusayin ng OpenAI ang isang partikular na asal, gaya ng paggamit ng tool, gamit ang espesyalisadong datos sa pagsasanay at applied research. Sa paliwanag niya, madalas tugunan ng paunti-unting update sa loob ng isang henerasyon ng modelo ang ganitong pangangailangan. Aniya, maaaring baguhin ng bagong henerasyon ng mas malalaking modelo kung aling espesyalisadong pag-aayos ang kailangan pa. Inilarawan niya ang ilang kasalukuyang pamumuhunan bilang paraan upang matuto at mas mabilis na umunlad sa ngayon, kahit hindi ito pangmatagalang estratehiya.

Humantong ang pagkakaibang iyon sa pahayag na 80–90% sa 1:32:52 ng rekording ng Fellows Forum. Tinukoy ni Power ang pananaliksik sa OpenAI, hindi lamang sa sarili niyang pangkat. Hindi inilalahad sa rekording o inilathalang materyal ng OpenAI ang depinisyon ng pananaliksik na binibilang, saklaw ng panahon, badyet, dami ng kawani o paraan ng pagbuo sa pagtataya. Kaya dapat unawain ang bilang bilang paglalarawan ni Power sa mga prayoridad, hindi awditadong sukat ng paggasta o kawani ng kumpanya.

Ginamit ni Power ang GPT-7 at GPT-8 bilang mga halimbawa ng susunod na henerasyon. Hindi niya inanunsiyo ang alinmang modelo, ibinunyag ang yugto ng pagbuo nito o ibinigay ang iskedyul ng paglabas. Nakalista sa kasalukuyang katalogo ng mga modelo ng OpenAI ang GPT-6 Astra, Sol at Luna; nagbibigay ito ng pampublikong konteksto sa mga pangalang ginamit ni Power, ngunit hindi ebidensiya tungkol sa kalagayan ng susunod na mga henerasyon.

Bakit niya binanggit ang distillation

Kaagad matapos ang pagtataya, inilarawan ni Power ang pagtuturo ng malaking modelong GPT-6 Astra sa mas maliit na modelong GPT Luna. Ang punto niya ay kayang magbigay ng mga halimbawa para sa pagsasanay ng mas maliit na modelo ang isang mahusay na malaking modelo. Ipinapaliwanag niya ang pamamaraan sa pananaliksik, hindi idinodokumento na sinanay mula sa Astra ang isang partikular na inilabas na Luna.

Inilalarawan sa gabay ng OpenAI sa supervised fine-tuning ang mekanismo. Tinitiyak muna ng developer na mahusay ang mas malaking modelo sa isang tinukoy na gawain, pinipili ang mga angkop na output, ginagamit ang mga ito bilang halimbawang pangsanay sa mas maliit na modelo at sinusuri ang mas maliit na modelo sa gawaing iyon. Sinasabi ng OpenAI na maaari nitong ilapit ang performance ng mas maliit na modelo sa mas malaking modelo sa isang partikular na gawain. Inilalarawan din sa anunsiyo ng OpenAI tungkol sa model distillation ang pagsusuri, pagkuha ng mga output at fine-tuning bilang paulit-ulit na proseso.

Mas mahaba na ang kasaysayan ng ideyang ito. Sa isang artikulo sa pananaliksik noong 2015, pinag-aralan nina Geoffrey Hinton, Oriol Vinyals at Jeff Dean ang paglilipat ng kaalaman mula sa mas malalaking sistema tungo sa modelong mas madaling i-deploy. Ipinapaliwanag ng pag-aaral na iyon ang konsepto ng teacher–student; wala itong sinasabi tungkol sa kasalukuyang paghahati ng pananaliksik ng OpenAI.

Ipinaliliwanag nito ang ugnayang tinutukoy ni Power sa pagitan ng nangungunang pananaliksik at praktikal na mga modelo. Kayang lumikha ng kapaki-pakinabang na materyal sa pagsasanay para sa espesyalisado at mas murang mga sistema ang mas mahusay na teacher model. Nakasalalay ang bisa nito sa gawain, mga halimbawang pinili at paraan ng pagsusuri. Walang ibinigay si Power na resulta ng distillation o paghahambing na sukat para sa halimbawang Astra–Luna.

Nagbibigay-kaalaman ang pagtataya ni Power dahil inilalahad nito ang pananaw niya kung saan inaasahan ng OpenAI ang pinakamalaking halaga sa pananaliksik. Pinatutunayan ng pampublikong ebidensiya ang pahayag niya at ang pangkalahatang pamamaraang binanggit. Hindi nito pinatutunayan kung paano talaga hinahati ng OpenAI ang mga mapagkukunan o ano ang maihahatid ng susunod na henerasyon ng GPT.