Agent AI mereview rilisnya dan menemukan bug yang diam-diam menghapus data

Simon Willison menghabiskan sekitar $149 untuk meminta sebuah agen AI mereview rilis sqlite-utils sebelum dikirim, dan review itu langsung menutup ongkosnya pada bug serius pertama. Ia mengarahkan Claude Fable ke basis kode 4.0rc2 dan melewati 37 prompt serta 34 commit, mengubah 30 berkas dan sekitar 1.300 baris. Temuan paling parah justru yang tersembunyi: delete_where() tidak pernah melakukan commit pada transaksinya dan meninggalkan koneksi database dalam keadaan rusak. Baris yang dihapus, baris yang dimasukkan setelahnya, dan tabel baru semuanya lenyap diam-diam saat koneksi berikutnya dibuka. Ini jenis bug yang bisa lolos ke release candidate dan merusak data pengguna sungguhan sebelum ada yang sadar.

Rincian biayanya layak dilihat karena tidak biasa terbuka. Sesi utama menelan $141, dan segelintir sub-agent tertutup yang menyapu permukaan API, transaksi, dan migrasi menambah beberapa dolar masing-masing. Willison lalu menjalankan review kedua dengan GPT-5.5, yang menangkap dua bug penanganan commit lain di db.query(), termasuk satu di mana INSERT ... RETURNING baru commit setelah pemanggil menghabiskan seluruh iterator.

Kesimpulannya, meminta satu model mereview kerja model lain "benar-benar berhasil", dan kini ia melakukannya sebagai kebiasaan. Ia juga mengakui seharusnya lebih banyak melempar sapuan rutin ke sub-agent yang lebih murah demi memangkas tagihan. Tulisan lengkapnya memuat biaya per agen.

Kenapa ini penting

Kalau kamu merilis library dengan agen coding AI, satu putaran review oleh model kedua sebelum rilis adalah asuransi murah untuk menangkap justru bug yang lolos dari tes. Sisihkan anggaran untuknya, dan pakai sub-agent kecil untuk sapuan mekanis agar biayanya tetap di kisaran puluhan dolar, bukan ratusan.