Agent Anda lolos tes. IBM bertanya: apakah ia lolos lima kali berturut-turut

Sebuah agent ReAct yang berjalan di GPT-4.1 berhasil sekitar 77,4% secara rata-rata, angka yang terdengar meyakinkan sampai muncul pertanyaan lebih sulit: seberapa sering ia berhasil pada kelima kali menjalankan tugas yang sama? Hanya 53,0%. IBM Research menyebutnya consistency gap, dan di sini jaraknya 24,4 poin. Penyebabnya halus. Ketika model memberi probabilitas yang mirip pada beberapa kemungkinan token berikutnya, perbedaan kecil di platform seperti pembulatan floating-point atau efek batching bisa mengubah pilihannya, dan perubahan itu menumpuk di sepanjang puluhan keputusan berurutan dalam satu agent loop.

Perbaikan mereka tidak menuntut model yang lebih besar. Alat bernama Consistency Analyzer mengambil satu trajectory dan memutar ulang tiap titik keputusan dengan lima completion hasil resampling, tanpa menjalankan ulang seluruh tugas, untuk menemukan langkah yang paling mungkin berubah. Langkah-langkah itu menjadi panduan berbahasa sederhana, misalnya "pakai regex untuk menghitung checkbox, bukan pencocokan substring," yang lalu dialirkan kembali ke agent lewat sistem ALTK-Evolve milik IBM. Hasilnya konkret: Pass^5 naik dari 53,0% ke 69,0%, akurasi rata-rata tetap di 81,0%, dan panduannya menular ke tugas serupa dengan tambahan 13 poin. Saran tim ini adalah melaporkan Pass^k berdampingan dengan Mean@k, karena rata-rata menyembunyikan seberapa sering agent diam-diam gagal saat diulang.

Kenapa ini penting

Kalau Anda menjalankan agent di produksi untuk hal yang berulang, seperti rekonsiliasi atau ekstraksi data, tingkat keberhasilan rata-rata adalah angka yang salah untuk dipercaya. Ukur seberapa sering input yang sama berhasil setiap kali, dan diagnosis langkah yang tidak stabil sebelum beralih ke model yang lebih besar dan lebih mahal, karena konsistensi dan kapabilitas mentah adalah dua masalah yang berbeda.