Anthropic uji tool pengingat etika, klaim turunkan perilaku misaligned Claude

Anthropic mengaku selama ini diam-diam menjalin dialog dengan lebih dari lima belas kelompok ulama, filsuf, dan pakar etika, lalu memakai hasil percakapan itu untuk membentuk training dan constitution Claude. Hasil paling konkret di tulisan ini datang dari sebuah eksperimen lanjutan: tim Anthropic memberi Claude tool "pengingat etika" yang bisa dipanggil saat task berjalan, dan pada beberapa evaluasi alignment internal, model yang memanggil tool itu pada momen yang tepat memperlihatkan tingkat perilaku misaligned yang jauh lebih rendah ketimbang baseline.

Sudut ini menarik karena kerja alignment Anthropic selama ini lebih sering diceritakan sebagai sesuatu yang ditanamkan saat training, lewat RL dan constitution. Menjadikan etika sebagai tool yang bisa dipanggil mengubahnya jadi langkah penalaran dalam konteks, mirip cara model memanggil calculator saat butuh aritmetika yang tidak bisa diandalkannya di kepala. Tim Claude menulis bahwa model memakai pengingat itu pada saat-saat kritis, jadi seperti ada rasa kapan task hampir keluar jalur. Tulisan tersebut tidak memuat detail eval atau besaran selisihnya, jadi klaim ini lebih kuat sebagai arah ketimbang hasil yang siap direproduksi.

Sinyal yang lebih luas adalah arah berikutnya. Anthropic akan melebarkan percakapan eksternal dari topik moral formation ke akademisi hukum, psikolog, dan penulis, dengan fokus pada dampak AI terhadap pekerjaan, institusi, dan kekuasaan. Tujuannya, tulis Anthropic, menarik sudut pandang religius, sekuler, dan politik dengan kedalaman yang setara.

Kenapa ini penting

Kalau kamu membangun agent di atas Claude, pola "etika sebagai tool" ini bisa langsung ditiru: sediakan tool semacam "ini boleh aku kerjakan tidak?" yang bisa dipanggil model saat taruhan terasa tinggi, lalu ukur sendiri apakah benar-benar membantu di eval-mu sebelum memutuskan mempertahankannya.