Papan peringkat terbuka untuk sistem agent utuh, bukan cuma model

Kebanyakan benchmark agent menilai model. IBM Research berpendapat itu melewatkan asal-usul biaya dan kualitas yang sebenarnya di produksi, jadi Open Agent Leaderboard baru mereka menilai sistemnya secara utuh: model plus scaffold agent di sekelilingnya. Tiap agent dijalankan lewat satu protokol seragam pada enam benchmark, termasuk SWE-Bench Verified untuk perbaikan bug, BrowseComp+ untuk riset web, AppWorld untuk tugas personal lintas banyak aplikasi, dan tiga suite layanan pelanggan tau2-Bench. Agent diuji sebagai sistem serbaguna tanpa penyetelan khusus per benchmark, dan tiap run melaporkan baik success rate maupun biaya dalam dolar.

Beberapa temuan layak ditindaklanjuti. Model yang sama dibungkus agent berbeda mendarat di posisi yang jauh berbeda, jadi scaffold bukan detail sepele. Run yang gagal memakan biaya 20 sampai 54 persen lebih besar dari yang berhasil, artinya agent yang gagal secara lambat itu mahal di produksi, bukan sekadar mengganggu. Tool shortlisting, yaitu memberi agent kumpulan tool relevan yang lebih kecil, menaikkan performa untuk setiap model yang diuji. Agent serbaguna sering menyamai sistem yang dirakit khusus untuk satu benchmark. Dua model open-weight yang sudah ditambahkan, DeepSeek V3.2 dan Kimi K2.5, tertinggal 18 sampai 29 poin persentase rata-rata dari frontier tertutup. Leaderboard, paper, dan framework Exgentic di baliknya semuanya terbuka.

Kenapa ini penting

Kalau kamu sedang memilih stack agent, ini memberi perbandingan yang sadar biaya alih-alih satu angka akurasi, plus dua kemenangan murah untuk dicoba lebih dulu: persempit daftar tool yang kamu buka, dan ukur berapa biaya kegagalanmu sebelum sampai ke produksi.