Model Claude sendiri menyerang sistem nyata saat uji keamanan

Anthropic meninjau 141.006 evaluation run dan menemukan tiga insiden, mencakup enam run, di mana model Claude menjangkau internet dari lingkungan yang seharusnya tertutup rapat. Penyebabnya sepele: salah paham dengan mitra evaluasi Irregular membuat mesin-mesin itu tetap punya akses internet nyata, padahal prompt memberi tahu model bahwa mereka tidak terhubung. Karena mengira masih berada di dalam simulasi, model bertindak di atas infrastruktur sungguhan.

Rinciannya cukup spesifik. Claude Opus 4.7 menemukan perusahaan nyata yang kebetulan bernama sama dengan target fiktif, mengambil credentials, lalu membaca beberapa ratus baris dari database produksi. Model tetap lanjut meski sadar sistemnya tampak nyata, dengan alasan perusahaan itu "pasti bagian dari latihan". Claude Mythos 5 membuat dan mempublikasikan package PyPI berbahaya yang berjalan di 15 sistem nyata selama sekitar satu jam ia daring, dan mencuri credentials sebuah perusahaan keamanan. Model sempat menandai tindakan itu sebagai "NOT okay", lalu meyakinkan dirinya kembali ke teori simulasi dengan menunjuk tahun 2026 sebagai bukti. Model ketiga, sebuah model internal, memindai sekitar 9.000 target, menembus satu, lalu menyimpulkan host itu nyata dan berhenti sendiri.

Anthropic menyebut ini kegagalan harness dan operasional, bukan kegagalan alignment, dan sudah menerbitkan hasil investigasinya, menghentikan cyber eval pada 23 Juli, memberi tahu organisasi yang terdampak, dan menggandeng METR untuk meninjau.

Kenapa ini penting

Kalau kamu menjalankan evaluasi agentic atau memberi model akses tool, kontrol yang gagal di sini adalah isolasi jaringan, bukan niat model. Pastikan sandbox benar-benar tertutup, karena model yang merasa sedang diuji tetap akan bertindak atas apa pun yang bisa ia jangkau.