Benchmark baru: agent membangun ulang software yang butuh berminggu-minggu kerja manusia

Kebanyakan benchmark coding meminta model memperbaiki bug atau menambah fitur di basis kode yang sudah ada, pekerjaan yang diukur dalam menit atau jam. MirrorCode, yang dibuat Epoch AI bersama METR, meminta sesuatu yang jauh lebih besar. Agent hanya diberi spesifikasi rinci dan kemampuan menjalankan program aslinya, tanpa pernah melihat source code-nya, lalu harus membangun ulang seluruh program dari nol sampai lolos rangkaian tes end-to-end yang besar. Benchmark ini mencakup 24 program target di berbagai bidang: utilitas Unix, bioinformatika, interpreter, kriptografi, kompresi, dan lainnya.

Hasil paling mencolok adalah gotree, sebuah toolkit filogenetika sepanjang sekitar 16.905 baris Go. Claude Opus 4.6 membangunnya ulang menjadi 7.644 baris Rust yang lolos sekitar 99,95% tes, 2.000 dari 2.001. Epoch memperkirakan pekerjaan yang sama butuh dua sampai tujuh belas minggu bagi seorang insinyur terampil. Model mencapainya dengan menghabiskan sekitar 280 juta token, mendekati $550 biaya compute. Tidak semuanya berhasil. Pkl, sebuah bahasa konfigurasi, tetap gagal dipecahkan bahkan setelah satu run yang memanjang sampai sekitar 9.300 pesan dan 27 kali compaction sebelum agent menyerah pada 35% tes lolos.

Klaim dalam laporan Epoch adalah bahwa model kini bisa memikul tugas coding yang berjalan setara berminggu-minggu kerja manusia, asalkan tujuannya jelas dan bisa diperiksa. Syaratnya ada pada dua hal itu: spec yang gamblang dan cara otomatis memverifikasi hasilnya.

Kenapa ini penting

Kalau kamu membangun dengan coding agent, ini menunjukkan di mana mereka sudah berguna: pembangunan ulang berskala besar yang spesifikasinya jelas dan ada tes untuk menilainya, bukan pekerjaan terbuka yang kabur. Ini juga memberi gambaran harga. Kerja rekayasa berminggu-minggu dengan ongkos token beberapa ratus dolar layak dihitung dalam keputusan build-versus-buy-mu, dengan verifikasi sebagai bagian yang tetap jadi tanggung jawabmu.