DeepMind akan memperlakukan agent AI-nya sendiri sebagai ancaman dari dalam

Sebagian besar pembahasan keamanan soal agent AI berkutat pada cara menahan penyerang dari luar. Roadmap baru Google DeepMind berangkat dari pertanyaan yang lebih berat: bagaimana kalau justru agent yang berjalan di dalam sistem Anda yang jadi masalah? Perusahaan ini menyatakan kini memperlakukan agent yang capable sebagai potensi ancaman orang dalam, dan memberikan akses secara bertahap, seperti instruktur menyetir berkendali ganda yang melepas kemudi hanya setelah kepercayaan terbukti. Taruhannya besar, dengan kutipan estimasi bahwa agent bisa menciptakan nilai 2,9 triliun dolar di Amerika saja pada 2030.

AI Control Roadmap memetakan pertahanan di dua sumbu. Sumbu pertama mengukur seberapa sulit perilaku menyimpang sebuah agent dideteksi, mulai dari reasoning yang terbaca sampai proses internal yang gelap, sehingga pemantauan harus bergeser dari membaca chain-of-thought ke memeriksa perilaku dan internal model. Sumbu kedua menimbang seberapa besar kerusakan suatu tindakan, dengan respons yang menyesuaikan: tinjauan setelah kejadian untuk langkah yang bisa dibatalkan, hingga pemblokiran real-time untuk hal seperti serangan siber. Bersamaan dengan itu, DeepMind merilis kerangka "Three Layers of Agent Security" bagi pembuat kebijakan, mencakup agent tunggal, sistem multi-agent, dan tugas yang lebih luas membantu para pembela siber.

Satu detail membumikan semuanya. Setelah menganalisis satu juta trajectory coding agent, DeepMind menemukan sebagian besar peristiwa yang ditandai berasal dari agent yang salah menafsirkan tugas atau terlalu bersemangat, bukan dari niat jahat, dan temuan itu kini membentuk pemantauan real-time di balik produk seperti Gemini Spark.

Kenapa ini penting

Kalau Anda menerjunkan agent dengan izin nyata, pelatihan alignment saja tidak akan menyelamatkan ketika model salah bertindak. Pendekatan berlapis DeepMind, kontrol dasar ditambah supervisor AI tepercaya yang mengawasi rencana agent, adalah model konkret yang bisa Anda tiru, dan taksonomi ancamannya memberi daftar periksa untuk menemukan titik lemah pemantauan Anda sendiri.