Nathan Lambert soal apa yang bisa dan tidak bisa dikatakan sebuah benchmark AI terkemuka

Artificial Analysis menerbitkan "intelligence index" yang paling banyak dikutip untuk model frontier, dan versi v5-nya menyusun ulang penilaian menjadi empat kelompok dengan bobot setara: knowledge work, coding, science, dan kemampuan umum, masing-masing 25%. Nathan Lambert memanfaatkan rilis ini untuk menguraikan apa yang ia sebut dilema para pembuat benchmark. Sebuah indeks harus memadatkan banyak hasil menjadi satu angka agar orang bisa membandingkan model, tetapi setiap pilihan bobot membawa sudut pandang tertentu, dan ruang kelonggarannya memungkinkan evaluator menggiring hasil ke arah cerita yang disukainya. Masalah yang lebih berat adalah kepercayaan. Artificial Analysis memperoleh pendapatan dari lab yang sama yang ia peringkatkan, dan Arena menjalankan pengujian pra-rilis untuk para lab. Lambert mengatakan ia paling percaya pada lembaga nirlaba dan pemerintah soal keadilan, dan pada startup soal akurasi di garis frontier.

Soal isinya, ia menilai v5 masuk akal tetapi mulai tegang. GPT-6.1 Terra berada di atas Claude Fable 5.1, yang ia baca sebagai indeks yang disetel ke arah kolaborator agentic umum ketimbang keterampilan yang lebih sempit. Delapan model tertutup mengungguli model open-weight terbaik, Kimi K3.1 Pro, dan selisih terlebar muncul di eval sains seperti Terminal-Bench-Science dan CritPt v2. Argumennya, model terbuka memang tidak pernah dirancang untuk menang di garis frontier; nilainya ada pada mendorong inference ke harga komoditas dan memungkinkan perusahaan menspesialisasikan kecerdasan pada datanya sendiri. Ia tidak nyaman dengan satu perubahan di v5: prompt tersembunyi memang menjawab masalah benchmaxxing, tetapi menghapus kemampuan komunitas menemukan bug dan menuntut kepercayaan penuh pada pembuatnya. Solusinya adalah lebih banyak indeks dengan bias yang berbeda, termasuk yang spesifik per domain. Tulisan lengkapnya membahas tiap kategori.

Kenapa ini penting

Kalau kamu memilih model lewat leaderboard, ini panduan untuk membacanya secara kritis: cermati siapa yang mendanai evaluator, apa yang diunggulkan oleh bobotnya, dan apakah prompt-nya terbuka. Satu peringkat adalah titik awal, bukan putusan akhir.