Boris Power mengatakan sebagian besar riset OpenAI menyasar generasi GPT berikutnya

Dalam Fellows Forum pada 23 September, Boris Power, kepala riset terapan OpenAI, memperkirakan 80–90% riset di perusahaan itu berfokus pada “GPT-7, GPT-8, dan seterusnya”. Ia menyampaikan angka tersebut saat menjelaskan bagaimana OpenAI menyeimbangkan pekerjaan pada produk saat ini dengan riset untuk model yang lebih mumpuni. Itu adalah perkiraannya dalam percakapan publik; OpenAI belum menerbitkan rincian alokasi riset untuk memeriksanya.

Perubahan besar

• Yang berubah: Power menggambarkan dua jalur yang saling terkait: peningkatan pada model yang digunakan orang sekarang dan riset yang menyasar generasi mendatang. Menurut perkiraannya, jalur kedua mencakup sebagian besar riset OpenAI.
• Mengapa ini penting: Model besar yang lebih kuat dapat menyediakan contoh pelatihan bagi model yang lebih kecil dan murah untuk tugas tertentu. Karena itu, pengembang tetap punya alasan mengikuti riset terdepan meskipun produk mereka mengandalkan model yang lebih kecil.
• Yang perlu dicermati: Rilis model mendatang dan pengungkapan teknis dapat menunjukkan apakah kemajuan pada model besar diterapkan ke model yang lebih kecil. Wawancara itu tidak memberikan tanggal rilis, spesifikasi, ataupun hasil untuk GPT-7 atau GPT-8.

Konteks di balik perkiraan itu

Power sedang menjawab pertanyaan Zachary Lipton tentang bagaimana permintaan pelanggan memengaruhi riset. Ia mengatakan OpenAI dapat meningkatkan perilaku tertentu, seperti penggunaan alat, melalui data pelatihan khusus dan riset terapan. Menurut penjelasannya, pembaruan bertahap dalam satu generasi model kerap menjawab kebutuhan semacam itu. Ia berpendapat bahwa generasi baru model yang lebih besar dapat mengubah perbaikan khusus mana yang masih diperlukan. Ia menggambarkan sebagian investasi saat ini sebagai cara untuk belajar dan meningkatkan kemampuan lebih cepat sekarang, meskipun hal itu bukan strategi jangka panjang.

Pembedaan itu mengantar pada pernyataan 80–90% di menit 1:32:52 dalam rekaman Fellows Forum. Power merujuk pada riset di OpenAI, bukan hanya riset di timnya sendiri. Rekaman maupun materi OpenAI yang telah dipublikasikan tidak menjelaskan definisi riset yang dihitung, rentang waktunya, anggaran, jumlah staf, atau metode untuk menghasilkan perkiraan tersebut. Karena itu, angka tersebut sebaiknya dibaca sebagai gambaran Power tentang prioritas, bukan ukuran belanja atau kepegawaian perusahaan yang telah diaudit.

Power menyebut GPT-7 dan GPT-8 sebagai contoh generasi berikutnya. Ia tidak mengumumkan kedua model itu, mengungkap tonggak pengembangan, atau memberikan jadwal rilis. Katalog model OpenAI saat ini mencantumkan GPT-6 Astra, Sol, dan Luna; katalog tersebut memberi konteks publik untuk nama-nama yang disebut Power, tetapi tidak menjadi bukti tentang keadaan generasi berikutnya.

Mengapa ia membahas distilasi

Segera setelah perkiraan itu, Power menggambarkan model GPT-6 Astra yang besar mengajari model GPT Luna yang lebih kecil. Maksudnya, model besar yang kuat dapat menyediakan contoh untuk melatih model yang lebih kecil. Ia sedang menjelaskan pendekatan riset, bukan mendokumentasikan bahwa model Luna tertentu yang telah dirilis dilatih dari Astra.

Panduan supervised fine-tuning OpenAI menjelaskan mekanismenya. Pengembang terlebih dahulu memastikan model yang lebih besar bekerja baik pada tugas tertentu, menyimpan keluaran yang sesuai, menggunakannya sebagai contoh pelatihan bagi model yang lebih kecil, lalu mengevaluasi model kecil itu pada tugas tersebut. OpenAI menyatakan proses ini dapat membuat kinerja model kecil lebih mendekati model besar pada tugas tertentu. Ini tidak berarti model kecil mewarisi semua kemampuan model pengajarnya. Pengumuman distilasi model OpenAI juga menjelaskan evaluasi, keluaran yang direkam, dan fine-tuning sebagai proses berulang.

Gagasan ini memiliki sejarah lebih panjang. Dalam sebuah makalah penelitian tahun 2015, Geoffrey Hinton, Oriol Vinyals, dan Jeff Dean mengkaji pemindahan pengetahuan dari sistem yang lebih besar ke model yang lebih mudah diterapkan. Karya itu menjelaskan konsep guru–murid; isinya tidak membahas alokasi riset OpenAI saat ini.

Penjelasan ini menerangkan hubungan yang ditarik Power antara riset terdepan dan model praktis. Model guru yang lebih mumpuni dapat menghasilkan bahan pelatihan yang berguna bagi sistem khusus berbiaya lebih rendah. Keberhasilannya bergantung pada tugas, contoh yang dipilih, dan evaluasi. Power tidak memberikan hasil distilasi atau pengukuran perbandingan untuk contoh Astra–Luna.

Perkiraan Power menarik karena menyatakan pandangannya tentang di mana OpenAI mengharapkan nilai riset terbesar. Bukti publik memastikan bahwa ia menyampaikan pernyataan itu dan menjelaskan teknik umum yang ia maksud. Bukti tersebut tidak menunjukkan pembagian sumber daya OpenAI yang sebenarnya atau hasil yang akan diberikan generasi GPT mendatang.