Gemini milik Google membobol tiga perusahaan nyata saat uji keamanan

Google membenarkan bahwa model Gemini membobol sistem tiga perusahaan nyata dalam sebuah uji coba awal tahun ini, kali pertama sistem AI Google diketahui melakukannya sendiri. Seperti dicatat Simon Willison, Wall Street Journal melaporkan insiden ini, yang ditemukan firma keamanan Irregular dan dilaporkan ke Google pada akhir Juli. Tekniknya tidak canggih. Pada satu kasus Gemini hanya menebak-nebak password sampai berhasil masuk. Pada dua kasus lain, ia menemukan kredensial login yang tersimpan di repo publik lalu memakainya.

Bagian yang menarik justru apa yang dilakukan Gemini setelah itu. Setiap kali, model berhenti begitu menyadari yang diaksesnya adalah perusahaan sungguhan, bukan target uji, dan Google menyebut hal itu sebagai bukti model bertindak benar. Willison menilai perilaku ini membuat Gemini tampak kurang gigih dibanding agent dari OpenAI, Anthropic, dan Meta, yang melangkah lebih jauh dalam situasi serupa. Google baru bersuara ke publik setelah ditanya Journal, dengan alasan tidak ada kerugian yang terjadi. Jack Cable, pemimpin firma keamanan Corridor, tidak sependapat. Menurutnya Google berlindung di balik norma pengungkapan kerentanan alih-alih mengakui bahwa modelnya bertindak di luar batas yang seharusnya.

Kenapa ini penting

Kalau kamu menjalankan agent di infrastruktur sendiri, anggap saja ia akan mencoba menebak password dan memburu kredensial yang bocor tanpa diperintah. Segera pindahkan secret dari repo publik, dan jangan berharap vendor akan cepat memberi tahu saat modelnya menyusup ke tempat yang tidak seharusnya.