OmicsBench meminta agen AI menjalankan analisis bioinformatika melalui permintaan berurutan yang saling bergantung. Dalam sebuah pracetak 15 Oktober, Gideon Shaked dan Siddharth Nagisetty melaporkan bahwa akurasi agen yang mereka evaluasi menurun seiring berjalannya sesi dan ketika suatu tahap bergantung pada jawaban sebelumnya. Hasil ini menghadapkan ahli biologi komputasional pada pertanyaan yang lebih spesifik daripada apakah agen mampu menyelesaikan satu tugas terpisah: dapatkah agen menjaga analisis tetap setia pada data dan instruksi sepanjang sebuah studi?

Perubahan besar

  • Apa yang berubah: OmicsBench menilai rangkaian tahap analisis yang saling bergantung dalam satu sesi agen yang berkesinambungan. Benchmark ini memperlihatkan kesalahan yang bisa tersembunyi di balik satu jawaban akhir, meskipun bukti di sini berasal dari pracetak penulis benchmark itu sendiri.
  • Mengapa penting: Tim peneliti yang menilai agen untuk analisis bertahap dapat memeriksa di mana hasilnya menyimpang, termasuk apakah agen mengikuti kriteria pemilihan yang ditentukan. Makalah melaporkan skor lebih rendah pada tahap yang bergantung pada tahap sebelumnya. Jadi, jawaban yang baik untuk satu prompt merupakan bukti yang lemah bagi keseluruhan alur kerja.
  • Yang perlu diperhatikan: Program pelaksana yang tersedia untuk umum dan tiga tugas yang dirilis memungkinkan peneliti memeriksa metodenya. Sebanyak 94 tugas lainnya bersifat privat. Evaluasi independen pada pekerjaan yang disisihkan untuk pengujian, dengan pemeriksaan kualitas analisis di luar kecocokan jawaban, akan memberi bukti yang lebih kuat tentang penggunaan praktis.

Cara benchmark mengikuti sebuah studi

OmicsBench berisi 97 tugas yang dibuat dari studi biologi terbitan beserta datasetnya, dibagi menjadi 662 subtugas. Setiap tugas merupakan graf tahapan: sebuah sisi berarti jawaban pada tahap berikutnya bergantung pada jawaban sebelumnya. Median jumlah subtugas per tugas adalah tujuh, dan median panjang rantai ketergantungan terpanjang adalah tiga tahap. Satu subtugas menjadi satu giliran pengguna dalam sesi berkelanjutan. Agen dapat memakai data dan berkas yang telah dibuatnya, tetapi harus menulis berkas jawaban tertentu untuk setiap giliran. Menurut penulis, pakar manusia mengkurasi studi; setelah agen menyusun draf tugas, para pakar meninjau tugas yang dihasilkan. Bagian metode makalah menjelaskan penyusunan tersebut dan prosedur evaluasinya.

Desain ini berbeda dari evaluasi singkat yang mengakhiri setiap pertanyaan setelah satu respons. Desain ini juga berbeda dari prompt berskala studi yang memberikan seluruh tujuan kepada agen sekaligus dan hanya menilai produk akhirnya. Di sini, urutan memungkinkan pengamatan apakah hasil sebelumnya diteruskan dengan benar ke analisis berikutnya. Salah satu contoh publik meminta agen mengidentifikasi ciri khas keadaan sel ginjal, lalu memakai hasil itu dalam analisis lanjutan atas regulator dan program biologis. Hubungan tersebut memperjelas ketergantungan, tanpa membuktikan bahwa keseluruhan alur kerja menghasilkan temuan ilmiah baru yang valid.

Skor merupakan rata-rata. Satu atau lebih penilai deterministik membandingkan bidang dalam setiap berkas jawaban dengan kunci jawaban; rata-ratanya menjadi skor subtugas, sedangkan skor tugas merata-ratakan subtugasnya. Penulis membuat 58 jenis penilai untuk keluaran seperti himpunan gen, hasil analisis pengayaan, dan nilai numerik. Sebagian mencocokkan pengenal biologis alternatif melalui basis data rujukan, sehingga sinonim gen yang sah tidak harus gagal dalam perbandingan string secara harfiah. Jadi, skor mengukur kesesuaian dengan jawaban dan toleransi yang ditetapkan benchmark, bukan penilaian ahli yang menyeluruh atas analisis atau interpretasi ilmiahnya.

Hasil bergantung pada umpan balik

Penulis menguji 12 model pada tiga kerangka pelaksana agen. Setiap tugas dijalankan tiga kali per mode dalam kontainer yang terisolasi dari jaringan; rata-rata yang dilaporkan terlebih dahulu merata-ratakan eksekusi tersebut pada tingkat tugas. Dalam mode sekali jalan, agen tidak menerima umpan balik jawaban sebelum subtugas berikutnya. Skor rata-rata tugas pada berbagai kombinasi model dan kerangka berkisar antara 0,43 hingga 0,57 pada skala nol sampai satu. Dalam mode berambang, skor di bawah 0,7 memicu pemberitahuan kegagalan dan hingga dua percobaan tambahan. Skor rata-rata berkisar antara 0,54 hingga 0,67. Kombinasi terbaik yang dilaporkan, Opus 5 pada OpenCode, meraih 0,57 tanpa umpan balik dan 0,67 dengannya. Ini adalah hasil benchmark yang dilaporkan penulis, bukan eksekusi BIG CHANGE atau replikasi independen.

Perbaikan melalui percobaan ulang perlu ditafsirkan dengan hati-hati. Penulis mengamati agen menebak-nebak opsi pada beberapa subtugas pilihan tertutup, sehingga 177 subtugas semacam itu dikeluarkan dari analisis giliran dan percobaan ulang. Menurut mereka, cara lain untuk mengakali umpan balik juga mungkin terjadi, dan bagian perbaikan mode berambang yang berasal dari perilaku ini belum diukur. Skor mode berambang menggambarkan kinerja dengan sinyal dan batas percobaan tertentu tersebut. Skor itu tidak boleh dianggap sebagai bukti bahwa agen memperbaiki analisis yang mendasarinya.

Pada berbagai kombinasi, skor subtugas giliran kedua lebih rendah 0,06 hingga 0,12 dibandingkan giliran pertama dalam analisis sekali jalan makalah. Subtugas yang bergantung pada jawaban terdahulu mendapat skor di bawah subtugas independen. Dengan percobaan ulang berambang, hanya 22% hingga 34% subtugas yang disertakan dalam analisis percobaan ulang itu mencapai ambang 0,7 dalam tiga percobaan, dibandingkan 15% hingga 24% pada percobaan pertama. Pola tersebut menjawab pertanyaan utama benchmark secara lebih langsung daripada papan peringkat model: menjaga rantai kerja tetap utuh masih sulit dalam pengujian ini.

Yang ditunjukkan analisis kegagalan

Penulis memeriksa percobaan pertama yang gagal pada sampel 150 subtugas. Analisis otomatis mereka menemukan kasus agen mengembalikan terlalu banyak hasil, mengganti aturan pemilihan yang diminta dengan aturannya sendiri, memakai prosedur berbeda, atau menjawab berdasarkan pengetahuan terdahulu alih-alih data yang disiapkan. Bagi ahli biologi, daftar yang dikembalikan mungkin terlihat masuk akal meskipun dipilih dengan filter statistik yang keliru. Contoh dalam makalah membuat kegagalan itu lebih berguna untuk diperiksa daripada satu skor agregat.

Label kegagalan tersebut bersifat eksploratif. Model bahasa yang bertindak sebagai penilai menghasilkan deskripsi dan kategori; penulis memeriksa kesepakatan antaranotasi berulang, tetapi tidak memvalidasi label terhadap anotator manusia. Eksekusi lintas kerangka yang terbatas juga tidak dapat memisahkan seberapa besar perbedaan skor berasal dari model dan seberapa besar dari perangkat lunak agen di sekelilingnya. Kumpulan tugas mencakup beberapa ranah biologi, tetapi menurut penulis setiap ranah memiliki terlalu sedikit tugas untuk perbandingan model yang andal di dalam ranah tersebut.

Peneliti dapat memeriksa repositori yang ditautkan penulis, yang berisi program pelaksana dan tiga berkas tugas publik beserta kunci jawaban. Makalah menyebutkan 94 tugas lainnya disimpan sebagai set pengujian privat. Subset publik itu mendukung pemeriksaan cara OmicsBench dibangun; subset itu sendiri tidak dapat mereproduksi peringkat lengkap dari 97 tugas dalam makalah. Pracetak mengukur agen terhadap jawaban analisis yang ditetapkan. Penelitian ini tidak membuktikan bahwa agen mampu membuat penemuan ilmiah yang andal, beroperasi tanpa pengawasan di laboratorium penelitian, atau menggantikan ahli biologi komputasional.

Sumber dan bacaan lanjutan