Sembilan pertanyaan yang ingin dijawab Epoch lewat benchmark AI

Greg Burnham dari Epoch AI berpendapat bahwa pertanyaan berguna tentang sebuah benchmark bukan "bisakah model mengerjakan tugas ini" melainkan "apa yang skor itu beri tahu soal arah AI." Ia menyusun sembilan pertanyaan yang dipakai timnya untuk menentukan apa yang mereka bangun dan ukur. Sebagian menyangkut kapabilitas dasar: apakah model bisa beranjak dari tugas tunggal ke pekerjaan penuh yang terbuka, apakah reasoning yang lebih panjang membuka soal yang tadinya tak terjangkau, dan seberapa baik keterampilan yang dipelajari di satu domain berpindah ke domain lain. Sebagian lagi menyangkut ekonomi dan riset, termasuk apakah AI bisa mengerjakan hal yang justru memajukan AI itu sendiri.

Bagian yang konkret adalah benchmark yang menempel di tiap pertanyaan. Epoch merujuk Capabilities Index miliknya, yang melebur banyak tes menjadi satu ukuran umum, lalu MirrorCode untuk tugas software lintas bahasa, EBR-bench untuk belajar lewat permainan berulang, dan FrontierMath untuk soal yang butuh ide benar-benar baru. Remote Labor Index menilai model pada proyek freelance nyata dibanding hasil kerja manusia, bahkan ada Andon Café, sebuah bisnis fisik yang dijalankan AI. Satu teka-teki yang berulang ia soroti: mengapa skor di domain yang sangat berbeda cenderung bergerak bersama, yang mengisyaratkan adanya satu kapabilitas dasar ketimbang banyak yang terpisah.

Daftar lengkap Burnham terbaca bukan sebagai kartu skor, melainkan peta soal apa yang masih belum terpecahkan dari kemajuan model.

Kenapa ini penting

Jika Anda mengandalkan angka benchmark untuk memilih model atau menilai kemajuan, ini daftar periksa untuk membacanya dengan benar: tanyakan pertanyaan mana yang sebetulnya dijawab oleh sebuah skor sebelum Anda memercayainya. Bagi tim yang membangun evaluasi, ini kumpulan celah konkret yang layak dibidik.