BenchMIRT dari Ai2 membedah apa yang sebenarnya diukur benchmark LLM

Allen Institute for AI merilis BenchMIRT, alat yang membedah benchmark soal per soal untuk mencari kemampuan apa yang sebenarnya menentukan skor sebuah model, bukan sekadar melihat benchmark sebagai satu angka. Alat ini memakai multidimensional item response theory, metode yang dipinjam dari dunia tes pendidikan, dan timnya melatih model itu pada 100 model di 16 benchmark dengan lebih dari 34.000 soal. Tanpa diberi label apa pun, analisisnya berulang kali menemukan dua dimensi utama: safety dan penalaran umum.

Sebagian hasilnya justru berlawanan dengan tujuan yang diklaim benchmark. BBQ, yang dirancang mengukur bias sosial, ternyata lebih dekat ke penalaran umum ketimbang safety. Pada WMDP, yang menguji pengetahuan berbahaya, penalaran yang lebih kuat malah berkorelasi dengan skor lebih rendah, karena menolak menjawab justru perilaku yang diinginkan. Tim Ai2 juga menemukan bahwa menyisakan hanya 10% soal sudah cukup untuk mempertahankan sebagian besar perbedaan antar-benchmark, dan memprediksi jawaban soal yang disembunyikan dengan akurasi 79% dibanding baseline 70%. Metodenya diuraikan di tulisan mereka.

Kenapa ini penting

Kalau Anda memilih model atau membuat klaim soal keamanan berdasarkan skor benchmark, ini peringatan bahwa nama sebuah benchmark belum tentu cocok dengan apa yang sebenarnya diukurnya. Hasil pemangkasan soal juga praktis: Anda bisa membangun eval yang jauh lebih murah dengan menyimpan soal-soal yang membawa sinyal.