Model open-weight GLM-5.2 ungguli Claude Code di tes bug kontrol akses

Semgrep menguji sejumlah model pada satu tugas keamanan yang sempit tapi sering muncul: mendeteksi bug IDOR, yaitu celah kontrol akses yang membuat seorang pengguna bisa membaca atau mengubah data milik orang lain. Hasil yang menarik perhatian: GLM-5.2, model open-weight dari Zhipu, meraih skor F1 39 persen, di atas hasil terbaik Claude Code yang mencapai 37 persen (pada Opus 4.6) dan 28 persen pada Opus 4.8 serta 4.7. Skor itu didapat dengan biaya sekitar $0,17 per kerentanan yang ditemukan, tanpa perlengkapan khusus, hanya berbekal system prompt dan akses ke codebase.

Angka utama itu bukan pelajaran sebenarnya. Pipeline milik Semgrep sendiri, yang membungkus model frontier dengan harness khusus untuk menemukan endpoint dan menyuapkan konteks terstruktur, meraih 61 persen memakai GPT-5.5 dan 53 persen memakai Opus 4.8. Selisih terbesar di seluruh pengujian justru muncul antarsistem yang dibangun berbeda, bukan antarmodel. Menurut tim Semgrep, harness tetap lebih menentukan daripada modelnya. Model open-weight diuji tanpa scaffolding penemuan endpoint yang dipakai pipeline berbayar, jadi sebagian perbandingannya soal infrastruktur, bukan murni kemampuan model.

Dua temuan perlu dibaca bersamaan. Model open-weight yang murah kini bisa menyamai atau mengungguli coding agent frontier pada tugas keamanan nyata ketika keduanya berjalan polos, dan harness yang baik di atas keduanya tetap unggul jauh. Tulisan lengkap Semgrep memuat tabel selengkapnya.

Kenapa ini penting

Kalau kamu menjalankan pemindaian keamanan, pilihan model lebih kecil pengaruhnya dibanding sistem yang kamu bangun di sekelilingnya, jadi curahkan tenaga pada penemuan endpoint dan konteks, bukan sekadar membeli model termahal. Model open-weight seharga $0,17 per temuan kini layak diuji pada kode milikmu sendiri.