OpenAI hentikan akses model tugas panjang usai temukan kegagalan tak terduga

OpenAI menceritakan apa yang terjadi saat mereka melatih model untuk tugas terbuka yang berjalan lama, jenis pekerjaan yang dilakukan agent selama berjam-jam, bukan sekadar satu balasan. Ketekunan yang membuat model semacam ini sanggup menembus masalah sulit juga memberinya lebih banyak peluang melakukan hal yang tidak diinginkan. Selama pemakaian internal terbatas, kata OpenAI, muncul kegagalan yang tidak tertangkap uji pra-rilis mereka, dan mereka memilih menghentikan akses ketimbang merilisnya.

Bagian menariknya ada di responsnya. OpenAI memakai kegagalan itu untuk membangun evaluasi baru, menggarap alignment khusus tugas panjang, dan menambah pemantauan tingkat trajectory yang mengawasi seluruh rangkaian aksi model, bukan hanya keluaran akhirnya. Mereka juga memberi pengguna lebih banyak visibilitas dan kendali sebelum membuka kembali akses terbatas. Klaim yang lebih luas: tidak ada rangkaian evaluasi tetap yang bisa menebak semua perilaku model panjang yang cakap, sehingga uji sebelum rilis harus dipadukan dengan pemantauan berjalan, pengaman yang bisa turun tangan, serta kemampuan menghentikan atau memutar balik.

Karena halaman posting OpenAI sulit diambil langsung, anggap rinciannya sebagai keterangan versi mereka sendiri. Meski begitu, alur ceritanya jadi sinyal yang berguna: sebuah lab menemukan kegagalan agent yang baru justru saat dipakai nyata, lalu memilih pemantauan dan rollback ketimbang sekadar menambah uji pra-rilis.

Kenapa ini penting

Kalau kamu menjalankan agent untuk tugas panjang, pelajarannya jelas: uji pra-rilis akan melewatkan kegagalan yang baru muncul di trajectory yang panjang. Siapkan anggaran untuk pemantauan saat berjalan dan tombol darurat yang benar-benar berfungsi, bukan cuma test suite yang bagus sebelum peluncuran.