Bunq dan transfer 2 sen: prompt injection menyusup lewat catatan transaksi

Firma keamanan Blue41 merilis laporan tentang bagaimana transfer 2 sen euro berhasil mengompromikan AI assistant aplikasi perbankan Bunq. Serangannya prompt injection tidak langsung dalam bentuk paling murni. Penyerang mengirim pembayaran kecil ke korban dan menanam payload berbahaya di kolom deskripsi transaksi. Saat korban kemudian bertanya hal rutin ke assistant, misalnya "tunjukkan transaksi terbaru", assistant mengambil data tersebut, menyodorkannya ke language model sebagai konteks, dan model membaca payload penyerang sebagai instruksi. Hasil proof of concept Blue41: pesan phishing yang tampak seolah datang dari bank itu sendiri.

Payload-nya tidak perlu sampai berbunyi "abaikan instruksi sebelumnya". Ia menyatu dengan catatan transaksi dan baru jadi berbahaya saat ditarik masuk ke konteks assistant. Poin Blue41, filtering dan guardrail di sisi prompt tidak cukup, sebab injection-nya datang belakangan lewat aliran data biasa. Kontrol yang mereka rekomendasikan terdengar standar tetapi tetap layak ditegaskan: minimalkan pemaparan konteks, perlakukan semua data yang diambil sebagai untrusted, batasi output sensitif seperti tautan dan instruksi pembayaran, lalu tambahkan behavioral monitoring untuk aksi assistant. Bunq sudah memperbaiki celah spesifik ini.

Kasusnya menarik di luar Bunq. Pola yang sama berlaku untuk agent apa pun yang membaca email, tiket support, atau undangan kalender: tiap sumber data eksternal yang ia konsumsi bagian dari attack surface-nya.

Kenapa ini penting

Kalau kamu merilis AI assistant yang membaca data yang tidak ditulis sendiri oleh pengguna, perlakukan data itu sebagai musuh. Pen-test pada model saja tidak cukup. Uji yang tepat: bisakah sebuah field tidak ramah di tempat lain dalam datamu mengubah apa yang assistant katakan atau lakukan.