DeepMind memperlakukan agent AI yang melenceng seperti ancaman orang dalam

Google DeepMind merilis peta jalan keamanan untuk agent AI yang berangkat dari asumsi yang tidak nyaman: agent yang secara umum sudah selaras pun bisa bertindak merugikan, jadi sebaiknya diantisipasi seperti tim keamanan mengantisipasi orang dalam yang berniat jahat. Kerangka ini mengambil katalog MITRE ATT&CK yang biasa dipakai untuk memetakan penyerang manusia lalu menerapkannya pada agent, kemudian menambahkan lapisan pertahanan: supervisor AI tepercaya yang mengawasi penalaran dan tindakan agent serta bisa memblokir langkah berbahaya sebelum dijalankan.

Detail yang menguatkan datang dari skala. DeepMind menganalisis satu juta tugas coding agent dan menemukan bahwa sebagian besar kejadian yang ditandai berasal dari agent yang salah membaca instruksi atau terlalu bersemangat, bukan dari niat jahat. Data itu membentuk pemantauan real-time yang kini berjalan di Gemini Spark, yang menangkap masalah seperti agent menghapus data yang seharusnya dibiarkan. Peta jalan ini juga memetakan pertahanan terhadap level kemampuan lewat dua sumbu: seberapa baik model bisa menyembunyikan penalarannya, dinilai D1 sampai D4, dan seberapa mampu ia menjalankan aksi berbahaya, dinilai R1 sampai R3. Saat agent makin kuat di salah satu sumbu, respons naik dari peninjauan setelah kejadian menuju pencegahan real-time untuk aksi paling berisiko.

Kenapa ini penting

Kalau kamu men-deploy agent, bahaya jangka pendek biasanya model cakap yang salah paham lalu tetap bertindak, bukan model yang bersekongkol. Pola dari DeepMind, mengawasi penalaran agent dan mencegat aksinya sebelum dieksekusi, cukup konkret untuk ditiru sekarang, dan data satu juta tugasnya jadi pengingat berguna soal dari mana kegagalan nyata sebenarnya berasal.