Agen koding rontok 30 poin saat kendala backend diperketat

Dente, Satriani, dan Papotti merilis salah satu evaluasi paling jujur soal coding agent yang muncul belakangan ini. Paper mereka, yang naik ke arxiv pekan ini, mengukur bagaimana performa agen berubah saat persyaratan sebuah tugas backend diperketat. Mereka menjalankan 80 tugas generasi greenfield dan 20 tugas implementasi fitur di 8 web framework berbeda, dengan kontrak API yang tetap dan dua jenis pengujian: behavioural test menyeluruh dan static verifier.

Angka utamanya tegas. Konfigurasi agen yang cukup mampu kehilangan sekitar 30 poin persentase pada assertion pass rate ketika tugas berpindah dari baseline longgar ke spesifikasi penuh. Para penulis menyebutnya constraint decay: performa anjlok cepat alih-alih turun pelan saat tuntutan struktural bertambah. Pilihan framework juga berpengaruh. Agen bekerja relatif baik di Flask yang minimalis, dan jauh lebih buruk di lingkungan konvensi tebal seperti FastAPI dan Django, yang jawaban benarnya sangat bergantung pada idiom framework. Penyebab kegagalan terbesar berasal dari lapisan data: agen menulis query yang komposisinya salah atau melanggar kontrak runtime ORM. Papernya lengkap di arxiv.org/abs/2605.06445.

Temuan ini konsisten dengan yang sudah lama dikeluhkan tim produksi: agen tampil hebat di demo, lalu rapuh begitu dimasukkan ke codebase nyata yang punya opini sendiri. Setidaknya paper ini memberi angka yang bisa diuji, lengkap dengan rincian per framework dan jenis kegagalan.

Kenapa ini penting

Kalau kamu sedang memilih coding agent atau memperkirakan seberapa banyak review manusia yang dibutuhkan, ujilah di framework dan kendala kerjamu sendiri, bukan di benchmark greenfield yang bersih. Jurang 30 poin itu titik awal yang masuk akal untuk seberapa skeptis kamu seharusnya terhadap demo.