Anthropic bagikan resep pakai LLM untuk audit keamanan kode

Anthropic menerbitkan panduan teknis tentang menjalankan vulnerability discovery berbasis LLM dalam skala produksi. Tulisan ini dikerjakan Eugene Yan, Henna Dattani, dan sejumlah engineer tim security. Alurnya dibagi enam langkah: threat modeling, sandboxing, discovery, verification, triage, dan patching. Tiap langkah dijelaskan lewat masalah riil yang ditemui tim, bukan diagram teori.

Beberapa angka layak dicatat. Scanning internal Anthropic sendiri sudah menemukan 1.596 kerentanan, dan baru 97 yang ditambal. Satu tim mitra mencatat true positive rate 90 persen untuk temuan yang benar-benar eksploitabel, tetapi baru setelah mereka menulis threat model rinci yang mempersempit ruang pencarian. Menambahkan agent verifier independen di container baru memangkas false positive hingga setengahnya, dan mewajibkan eksekusi proof of concept menekannya ke hampir nol. Pelajaran besarnya: discovery sudah menjadi bagian mudah, menambah agent secara horizontal hasilnya cenderung datar, dan bottleneck nyata ada di verifikasi serta triage.

Soal prompt, Anthropic justru meminta jangan memakai checklist kaku. Cukup tulis prompt pendek yang menyerahkan konteks ke model dan biarkan model menentukan caranya. Mereka juga mengingatkan, kalau verifier dijalankan dalam konteks yang sama dengan agent discovery, hasilnya cenderung bias mengonfirmasi temuan awal. Karena itu verifier dijalankan di container terpisah tanpa berbagi riwayat.

Kenapa ini penting

Kalau Anda menyiapkan pipeline keamanan berbasis LLM, alokasikan waktu untuk pekerjaan sesudah scan. Scan pertama akan menghasilkan temuan jauh lebih banyak daripada kapasitas tim untuk menindaklanjuti, dan effort engineering Anda akan habis lebih banyak di triage dan tambalan ketimbang di pencarian bug baru. Anggap verification sebagai produk tersendiri, bukan flag di agent yang sama.