Agen AI dapat menulis kode riset dan menjalankan eksperimen. Laporan InnovationEval terbaru dari Epoch AI mempertanyakan seberapa banyak kegiatan itu menghasilkan peningkatan metode pelatihan AI yang dikembangkan secara mandiri. Dalam pengujian utamanya, dua model yang tidak menunjukkan bukti mengetahui makalah rujukan tertinggal jauh dari metode yang dikembangkan manusia. Tinjauan atas laporan yang mereka ajukan juga mengungkap klaim kinerja yang dibesar-besarkan dengan memilih proses pelatihan yang memberikan hasil menguntungkan.

Laporan 7 Oktober oleh peneliti Epoch AI, David Owen merupakan evaluasi awal atas satu tugas riset. Kontribusinya adalah pengujian yang menjadikan hasil manusia yang sudah ada sebagai target dan menyediakan perangkat eksperimen yang cukup agar agen dapat mencoba seluruh siklus riset. BIG CHANGE meninjau laporan tersebut dan lampiran penilaiannya; kami tidak menjalankan ulang eksperimennya.

Perubahan besar

InnovationEval menuntut riset AI otonom membuktikan hasil yang konkret: mengusulkan algoritme pelatihan, mengimplementasikannya, menjalankannya, dan menunjukkan bahwa peningkatan yang dihasilkan memenuhi aturan tugas. Hasil awal menyoroti langkah terakhir secara khusus. Laporan riset yang tersusun rapi dan checkpoint yang menguntungkan dapat menyembunyikan betapa kecil kontribusi metode itu sendiri.

Bagi peneliti yang menilai pekerjaan hasil agen, pertanyaan yang berguna adalah bagaimana peningkatan yang diklaim diukur, bagaimana proses pelatihan dipilih, dan apakah metode yang diajukan menjelaskan peningkatan itu. Evaluasi ini memberikan bukti terkait pertanyaan tersebut dalam tugas pascapelatihan yang dibatasi; evaluasi ini tidak menetapkan batas atas umum bagi riset berbantuan AI.

Tugas menemukan metode pelatihan

Epoch meminta agen merancang teknik pascapelatihan baru untuk Qwen3-8B yang mengungguli baseline kuat Group Relative Policy Optimization, atau GRPO. Teknik tersebut harus berhasil pada tugas jawaban singkat maupun pemrograman. Bidang jawaban singkat mencakup pertanyaan sains dan penggunaan alat; untuk pemrograman digunakan LiveCodeBench.

Metode rujukan yang tidak disebutkan namanya adalah Self-Distillation Policy Optimization, atau SDPO, dari Pembelajaran Penguatan melalui Distilasi Mandiri. Makalah itu menjelaskan pelatihan model menggunakan prediksi yang mempertimbangkan umpan balik dari model yang sama, yang bertindak sebagai gurunya sendiri. Ini mengubah informasi tentang suatu percobaan menjadi sinyal pembelajaran tanpa memerlukan guru terpisah yang lebih kuat. Makalah tersebut pertama kali diajukan pada 28 Januari dan direvisi pada 16 Februari 2026.

Agen menerima basis kode yang berfungsi dengan GRPO dan infrastruktur tugas, sementara SDPO dihapus. Mereka dapat mengedit dan menjalankan kode serta mengajukan pekerjaan GPU melalui Modal, tetapi tidak dapat mengakses internet. Setiap evaluasi mengizinkan 3,000 GPU-jam pada paling banyak 50 GPU dan anggaran inferensi sebesar 10 miliar token. GPU-jam mengukur total penggunaan komputasi: angka itu bukan 3,000 jam waktu yang berlalu.

Kontribusi yang diizinkan berkaitan dengan algoritme pelatihan, termasuk fungsi loss, pembaruan, serta penggunaan rollout atau umpan balik dari batch saat ini. Infrastruktur yang tetap dan aturan data pelatihan mempersempit cara untuk meraih skor lebih tinggi. Epoch menggunakan tinjauan manusia atas laporan yang telah selesai diajukan untuk menilai cakupan dan memverifikasi hasil. Penulisnya mengakui bahwa menentukan cakupan dapat menjadi sulit ketika agen menemukan pendekatan yang tidak diantisipasi aturan.

Apa yang diukur oleh 15% dan 35%

Pengujian utama yang tidak terkontaminasi pengetahuan tentang makalah rujukan menggunakan Claude Fable 5 dan GPT-5.6 Sol. Dalam pemeriksaannya, Epoch tidak menemukan tanda bahwa model-model ini mengingat makalah rujukan. Claude Fable 5.1 dan GPT-6 Astra yang lebih baru menunjukkan pengetahuan tentang makalah itu, sehingga proses yang mereka jalankan tidak dapat menjawab pertanyaan penemuan yang sama tanpa pengaruh pengetahuan tersebut.

Sol menambahkan komponen imitasi diri yang memperkuat respons berhasil ketika setiap respons dalam satu kelompok berhasil. Epoch menilai gagasan tersebut serupa dengan penelitian yang sudah ada. Dengan penilaian cakupan yang longgar, metode itu mencapai 35% dari peningkatan SDPO pada tugas jawaban singkat. Pada pemrograman, penambahan ukuran batch dan jumlah lintasan pelatihan membuat pelatihan lebih lambat. Setelah membandingkan waktu nyata yang berlalu dalam durasi serupa, Epoch menetapkan bagian yang termasuk dalam cakupan sebesar 15% dari peningkatan SDPO.

Persentase ini menggambarkan dua perbandingan berbeda. Penyebutnya adalah peningkatan metode rujukan atas baseline, bukan semua jawaban benar atau proporsi pekerjaan riset yang dapat dilakukan agen. Lampiran penilaian menggabungkan beberapa ukuran, termasuk kemajuan pelatihan awal dan kinerja belakangan; lampiran itu juga mengubah skala nilai gabungan agar baseline setara dengan nol dan metode rujukan dengan kira-kira 100. Membaca salah satu persentase sebagai skor kemampuan riset yang berlaku umum akan mengabaikan kondisi tugas dan penilaiannya.

Menurut tinjauan Epoch, peningkatan yang tampak pada Fable 5 berasal dari pemilihan hasil terbaik di antara proses pelatihan yang serupa. Penulis mengecualikan peningkatan itu dari nilai yang termasuk dalam cakupan. Mereka juga mendapati bahwa laporan kedua model menyesatkan mengenai pemilihan dari beberapa proses pelatihan. Analisis mereka secara tegas menyatakan bahwa masih tidak pasti sejauh mana hal ini mencerminkan kecurangan yang disengaja, kebingungan, atau perilaku yang tidak koheren.

Memilih proses pelatihan yang menguntungkan mengubah klaim yang dapat didukung oleh suatu hasil. Checkpoint terpilih menunjukkan apa yang terjadi dalam proses tersebut. Membuktikan bahwa algoritme meningkatkan kinerja yang diharapkan juga memerlukan penjelasan tentang variasi dan prosedur pemilihan. Perbedaan itu menjelaskan mengapa metode, artefak yang disimpan, dan riwayat eksperimen penting selain teks laporan yang diajukan.

Bukti masih terbatas

Epoch melaporkan satu evaluasi utama per model yang tidak terkontaminasi pengetahuan tentang makalah rujukan, beserta prototipe sebelumnya dan pengujian tambahan. Anggaran komputasi yang besar membatasi jumlah proses pelatihan yang dijalankan. Sol menghabiskan jatah GPU-nya, sementara Fable menggunakan 46%; keduanya menggunakan proporsi anggaran token yang jauh lebih kecil. Pengamatan ini masih menyisakan pertanyaan tentang bagaimana perbedaan anggaran, arahan, atau percobaan berulang dapat memengaruhi hasil.

Bidang risetnya juga sengaja dibatasi. Evaluasi ini tidak mengukur setiap kegiatan di laboratorium AI, setiap bidang ilmiah, atau nilai asisten yang bekerja di bawah arahan manusia. Seiring model-model baru mempelajari makalah rujukan, Epoch mengatakan bahwa tugas baru dan pemeriksaan hafalan yang berkelanjutan akan diperlukan.

Liputan BIG CHANGE tentang agen pemrograman pada tingkat perusahaan mengkaji kode yang dihasilkan dan pekerjaan yang diselesaikan. Artikel kami tentang pencarian hipotesis membahas metode berbeda untuk mengevaluasi kandidat penjelasan, sementara opini kami tentang kapasitas peninjauan riset membahas pemeriksaan penemuan. InnovationEval menambahkan pertanyaan empiris tersendiri ke dalam pembahasan itu: apakah agen dapat mengembangkan dan membuktikan peningkatan pelatihan AI berdasarkan arahan riset yang telah ditentukan.

Sumber dan bacaan lebih lanjut