Intelijen palsu dari chatbot nyaris memicu serangan militer AS

Pesawat militer AS sudah mengudara untuk operasi bersenjata terhadap sebuah kapal Tiongkok pada musim semi ini ketika pejabat menyadari bahwa intelijen di baliknya ternyata dikarang oleh sebuah sistem AI. Operasi dibatalkan pada menit terakhir. Laporan palsu itu berasal dari seorang analis Special Operations Command yang memakai chatbot AI untuk menggabungkan data sumber terbuka dengan intelijen sinyal berklasifikasi. Chatbot salah membaca manifes kargo kapal dan menyebut kapal itu memuat komponen untuk program senjata nuklir. Analis tersebut lalu memakai alat yang sama untuk mengubah kekeliruan itu menjadi ringkasan resmi, yang kemudian beredar di jalur komando seolah sudah terverifikasi.

Kejadian yang dilaporkan CNN ini berlangsung saat perang dengan Iran, periode ketika Pentagon gencar memasukkan AI ke dalam penargetan dan analisis untuk mempercepat apa yang mereka sebut kill chain. Jake Steckler, peneliti di GovAI dan mantan perwira Angkatan Darat, mengingatkan bahwa anggota militer perlu memahami ketidakpastian yang melekat pada large language model, terutama untuk keputusan yang menyangkut penggunaan kekuatan. Model yang terdengar fasih dan menyusun keluaran dengan rapi bisa membawa hasil karangan langsung ke rantai komando yang memang dirancang untuk memercayai dokumennya sendiri.

Kenapa ini penting

Kalau Anda menaruh LLM di alur kerja mana pun yang keluarannya diperlakukan sebagai otoritatif, kasus ini menunjukkan bagaimana satu halusinasi bisa lolos sebagai fakta terverifikasi begitu ia diformat rapi lalu diteruskan. Pengamannya bukan model yang lebih baik, melainkan pemeriksaan manusia di antara tahap pembuatan dan tindakan, tepat di titik ketika keputusan menjadi tak bisa ditarik kembali.