Update Glasswing Anthropic temukan 10.000 bug, tapi antrean perbaikan menumpuk
Sebulan setelah meluncurkan Project Glasswing, Anthropic merilis hasil yang dikumpulkan sekitar 50 partner setelah mengarahkan model preview bernama Mythos ke kode perangkat lunak yang dipakai luas. Total, mereka menandai lebih dari 10.000 kerentanan berseverity high atau critical. Cloudflare sendiri melaporkan 2.000 bug, 400 di antaranya high atau critical, dengan tingkat false positive yang menurut Anthropic lebih baik daripada penguji manusia. Mozilla menemukan 271 kerentanan di Firefox, sekitar sepuluh kali lipat dari hasil pengujian mereka sebelumnya. Saat perusahaan keamanan independen memeriksa sampel 1.752 temuan, 90,6 persen terbukti nyata.
Hasil yang lebih menarik justru soal yang belum bisa diselesaikan program ini. Dari 530 bug high atau critical yang diungkap di proyek open-source, baru 75 yang sudah ditambal dan 65 yang punya advisory publik. Anthropic terang-terangan soal pergeseran ini: dulu kemajuan dibatasi seberapa cepat kerentanan bisa ditemukan, sekarang dibatasi seberapa cepat kerentanan bisa diverifikasi, diungkap, dan diperbaiki. Memperbaiki satu bug serius rata-rata masih butuh sekitar dua minggu, dan langkah manusia itu tidak bisa di-scale seperti proses scanning.
Anthropic juga menegaskan mereka tidak merilis model sekelas Mythos. AI Security Institute Inggris melaporkan Mythos jadi model pertama yang menuntaskan kedua cyber range mereka dari awal sampai akhir, dan Anthropic berargumen belum ada pihak, termasuk dirinya sendiri, yang punya pengaman cukup kuat untuk mencegah model semacam itu disalahgunakan.
Kenapa ini penting
Buat kamu yang merawat perangkat lunak, sumber daya yang langka bukan lagi kemampuan menemukan bug, melainkan orang yang melakukan triase dan merilis perbaikan. Siapkan diri menghadapi banjir laporan yang kredibel, dan putuskan sekarang cara memprioritaskannya, karena cepat atau lambat penyerang akan menjalankan scanner yang sama.