SWE-2 dari Cognition mengejar biaya per tugas, bukan skor tertinggi

Cognition merilis SWE-2, model coding di balik agent Devin, dan janji utamanya adalah biaya per tugas yang selesai, bukan rekor skor baru. Model ini dibangun di atas Kimi K3, model open-weight berukuran 2,8 triliun parameter dari Moonshot AI. Faktanya sendiri menarik: sebuah startup coding asal Amerika kini menjual produk yang berjalan di atas base terbuka buatan Tiongkok. Di Terminal-Bench 2.1 skornya 92,8%, naik dari 81,5% milik SWE-1.7 sebelumnya, dan di FrontierCode 1.1 yang lebih sulit ia mencapai 50%, menyamai Fable 5.1 dari Anthropic dengan biaya yang menurut Cognition 64% lebih rendah.

Detail sesungguhnya ada di proses training. Cognition memakai apa yang mereka sebut Pareto-optimized reinforcement learning, menambahkan penalti biaya ke reward supaya model membaik di semua level effort sekaligus, bukan menukar murah-tapi-bodoh dengan lambat-tapi-pintar. Hasil perilaku yang mereka soroti adalah kesabaran: SWE-2 melakukan edit kode pertamanya setelah rata-rata 18 langkah, dibanding 48 langkah pada SWE-1.7, artinya lebih sedikit gerakan sia-sia sebelum ia memahami tugas. Mereka juga menjelaskan length-weighted baseline untuk menstabilkan training dan speculative decoding untuk throughput. Tulisan lengkapnya bisa dibaca di sini.

Kenapa ini penting

Kalau Anda membayar agent coding per token, angka yang perlu dipantau bukan skor benchmark tertinggi melainkan biaya untuk menyelesaikan satu tugas, dan model yang menyamai Fable 5.1 dengan harga jauh lebih murah mengubah hitungan menjalankan agent dalam skala besar. Ini juga jadi ujian nyata apakah base model terbuka asal Tiongkok kini cukup baik untuk dijadikan fondasi produk komersial.