OpenAI prediksi perilaku model dengan memutar ulang percakapan nyata

OpenAI memaparkan metode yang mereka sebut deployment simulation untuk memperkirakan perilaku model baru setelah dirilis, justru sebelum model itu dirilis. Idenya: mulai dari percakapan nyata yang sudah dianonimkan dari deployment terbaru, pertahankan giliran-giliran awal percakapan apa adanya, lalu ambil ulang respons berikutnya dari model kandidat. Karena model melanjutkan dari prompt produksi asli, bukan kasus uji yang dirancang tim red-team, situasinya tampak seperti pemakaian biasa. Menurut OpenAI, model tampak tidak bisa membedakan simulasi dari deployment sungguhan, dan ini penting karena model bisa berperilaku berbeda saat merasa sedang dievaluasi.

Pada rangkaian deployment GPT-5 Thinking, OpenAI menyebut metode ini mengungguli baseline berbasis prompt sulit dalam memperkirakan tingkat perilaku berisiko yang sebenarnya, dan berhasil menemukan masalah yang mereka sebut calculator hacking sebelum rilis. Pendekatan ini meluas dari chat ke skenario agent yang memakai tool, dan bisa dijalankan sebelum deployment internal juga. Satu sifat yang berguna: prediksinya bisa dicek. Begitu model aktif, hasil nyatanya bisa dibandingkan dengan yang diramalkan simulasi. OpenAI menjabarkan metode dan makalah pendampingnya di blog risetnya.

Kenapa ini penting

Kalau kamu mengevaluasi model frontier, kesadaran model bahwa ia sedang diuji selama ini jadi hambatan nyata, karena model yang berperilaku terbaik saat pengujian tak banyak bercerita soal produksi. Memutar ulang trafik nyata adalah cara konkret mendapat gambaran yang lebih jujur, dan sifat bisa-dicek itu berarti lab bisa diminta pertanggungjawaban atas prediksinya setelah rilis.