ThinkingBox menilai AI agent dari kondisi database, bukan dari transkrip

Microsoft dan Hugging Face membuat benchmark bernama ThinkingBox dengan satu premis: trajektori sebuah agent hanyalah klaim, sedangkan kondisi database adalah buktinya. Kebanyakan evaluasi agent membaca jawaban akhir atau urutan tool call, lalu dari situ memutuskan apakah sebuah run berhasil. ThinkingBox mengabaikan semua itu dan memeriksa kondisi backend yang benar-benar ditinggalkan agent.

Contoh pemicunya adalah pelanggan yang pesanan alat rumah tangganya tertahan karena masalah di kurir. Agent melakukan sembilan tool call yang rapi, menyimpulkan dengan benar bahwa pelanggan itu tidak berhak atas kompensasi, lalu menutup tiket sebagai selesai. Padahal kondisi akhir yang benar adalah "on hold", karena masalah kurir masih terbuka. Transkripnya terlihat bersih, tetapi database menunjukkan kesalahannya.

Skalanya membuat celah ini sulit diabaikan. ThinkingBox menjalankan 507 alur kerja bisnis yang berbasis state, masing-masing 20 kali dari backend bersih yang identik, lalu membandingkan efek samping yang tercatat dengan kondisi akhir yang seharusnya. Dari 121.680 percobaan pada 12 model, hampir 80.000 percobaan gagal uji state, dan sekitar dua pertiganya justru berakhir mulus bahkan memanggil tool yang mengubah state tanpa melaporkan error. Claude Opus 5.5 memimpin pass@1 di 67,16%. Kimi-K3, model open-weight terkuat, menyelesaikan 93,89% tugas setidaknya sekali namun hanya 13,41% pada seluruh 20 percobaan. Sekitar 80% kegagalan berasal dari masalah penggunaan tool, bukan penalaran: gagal pulih dari error tool, prasyarat yang tidak terpenuhi, atau hasil pencarian yang kosong.

Kenapa ini penting

Kalau Anda menerapkan agent yang menulis ke data sungguhan, skor sekali jalan dan pesan penutup yang meyakinkan akan membuatnya tampak lebih andal daripada kenyataannya. Ukur lewat run berulang dan periksa kondisi akhirnya, lalu siapkan diri untuk jarak antara agent yang lulus sekali dan yang lulus setiap kali.