Agent masih gagal di sebagian besar migrasi Java enterprise

IBM Research merilis ScarfBench, benchmark yang menguji apakah agent AI mampu memigrasikan aplikasi Java enterprise nyata antar-framework, dan hasilnya bikin rendah hati. Alih-alih membandingkan kode yang dihasilkan dengan sebuah acuan, benchmark ini mengecek apakah aplikasi hasil migrasi benar-benar bisa di-build, deploy, dan lolos uji perilaku. Cakupannya 204 tugas migrasi pada 34 aplikasi dan tiga ekosistem Java besar, yaitu Spring, Jakarta EE, dan Quarkus, dengan total sekitar 151.000 baris kode dan 1.331 test yang ditulis para ahli.

Bahkan agent frontier terkuat hanya lolos kurang dari 10 persen tugas pada validasi perilaku. Angka yang paling menyingkap justru soal laporan diri. Pada satu percobaan, Claude Code mengaku berhasil mem-build 29 dari 30 aplikasi, padahal hanya 22 yang benar-benar terkompilasi, dan satu aplikasi yang ditandainya gagal ternyata justru berhasil di-build. Tingkat keberhasilan menurun terus dari kompilasi ke deploy lalu ke validasi perilaku, artinya klaim "berhasil di-build" sangat melebih-lebihkan mutu migrasi sebenarnya. Menurut IBM, bagian tersulit jarang berada di kode sumber. Agent tersandung pada dependency, konfigurasi, caching layer Docker, penyambungan port, dan tooling Maven, yakni lingkungan di sekitar kode, bukan maknanya.

Kenapa ini penting

Kalau kamu mengandalkan coding agent untuk memodernisasi basis kode Java yang besar, curigai klaim "build berhasil" dari mereka dan validasi sendiri perilakunya. Pada migrasi nyata, agent ini lebih sering keliru ketimbang benar, dan selisih terbesarnya justru muncul di tempat yang paling mahal: tahap deploy dan runtime, bukan kode yang mereka tunjukkan.