Benchmark GeneBench-Pro ungkap AI masih lemah di analisis biologi nyata

OpenAI merilis GeneBench-Pro, sebuah benchmark yang menguji apakah sebuah model sanggup menuntaskan analisis biologi komputasi yang sebenarnya, dari dataset yang berantakan sampai ke jawaban yang benar. Setiap dari 129 soal memberi model jenis data yang biasa diterima seorang ilmuwan dari lab atau dari sistem rekam medis rumah sakit, ditambah prompt singkat yang menjelaskan konteks eksperimen dan mendefinisikan apa yang harus diestimasi. Soal-soal itu mencakup biologi kanker, pharmacogenomics, genomika mikroba, dan penerapan klinis, dan masing-masing menuntut beberapa langkah penalaran statistik yang saling terkait, bukan sekadar satu pencarian jawaban.

Skornya rendah, dan justru itu intinya. Model terkuat OpenAI, GPT-5.6 Sol, lulus 28,7 persen soal pada tingkat reasoning tertingginya, dan naik ke 31,5 persen dengan mode Pro. Claude Opus 4.8 mencapai 16 persen. Kemajuannya tetap nyata: saat GeneBench versi awal dibangun, model frontier terbaik mencetak di bawah 5 persen, dan kini GPT-5.6 Sol menuntaskan hampir enam kali lebih banyak soal dibanding GPT-5.2 dengan pemakaian token sekitar dua pertiganya.

Yang menarik bukan angka utamanya, melainkan pola kesalahan model. OpenAI menggambarkan celah yang konsisten antara menyadari dan bertindak. Model akan menandai adanya masalah pada data, misalnya batch effect atau confounder, tetapi gagal membawa temuan itu ke keputusan berikutnya, sehingga ia memilih estimator yang salah atau meneruskan jalur analisis yang tampak masuk akal di awal.

Kenapa ini penting

Kalau Anda berharap menyerahkan analisis data ke sebuah agent, ini peta konkret soal di mana ia masih gagal: bukan pada menulis kode atau mengingat metode, tetapi pada meneruskan temuannya sendiri sampai ke pilihan statistik yang tepat. Periksa langkah itu sendiri sebelum Anda mempercayai hasilnya.