Prompt injection berhasil karena model menilai teks dari gayanya

Sebuah makalah baru membingkai ulang alasan prompt injection terus berhasil. Gambaran umumnya: model membaca teks dari sebuah tool atau halaman web, gagal memisahkannya dari instruksi pengguna, lalu menurutinya. Penulis menelusuri satu lapis lebih dalam: model menentukan siapa yang berbicara dari bagaimana teks itu terdengar, bukan dari label peran yang menempel padanya. Dalam kalimat mereka, "terdengar seperti sebuah peran tak bisa dibedakan dari benar-benar menjadi peran itu."

Untuk membuktikannya, mereka membangun "role probe" yang membaca, dari dalam model, peran mana yang menurutnya memiliki sepotong teks. Teks sisipan yang meniru peran tepercaya jatuh ke representasi internal yang sama dengan peran tersebut. Bagian yang berguna bersifat prediktif: tingkat kebingungan peran ini meramalkan apakah serangan akan berhasil bahkan sebelum model menghasilkan satu token pun. Mereka lalu memperkenalkan serangan bernama CoT Forgery, yang menyisipkan penalaran palsu ke dalam prompt dan output tool sehingga model menganggapnya chain-of-thought miliknya sendiri. Serangan ini mencapai sekitar 60 persen keberhasilan terhadap model frontier yang nyaris kebal pada versi dasarnya.

Makalah ini lebih kuat di diagnosis ketimbang obat. Penulis tidak menyodorkan pertahanan yang rapi, dan implikasinya tidak nyaman bagi solusi standar berupa pelabelan peran yang jelas, sebab model sebenarnya tidak membaca label itu. Kamu bisa membaca makalahnya di arXiv.

Kenapa ini penting

Kalau kamu membangun agent yang membaca output tool atau konten web, ini berarti batas peran di sistemmu lebih rapuh dari yang terlihat, karena model lebih memperhatikan gaya ketimbang label. Uji sistemmu terhadap injeksi yang meniru gaya, bukan cuma penimpaan instruksi yang kentara.