Gemini 4 Carbon unggul di benchmark keamanan dan tugas agentic panjang

Google merilis Gemini 4 Carbon pada 28 Oktober, dua minggu setelah Gemini 4 Argon, dan fokusnya memang sempit: kerja keamanan dan tugas agentic yang berjalan lama. Koray Kavukcuoglu, pemimpin Google DeepMind, mengatakan tim internal melihat model ini berjalan berhari-hari pada satu tugas, melewati banyak jalan buntu untuk menelusuri akar masalah dan menambal bug di basis kode besar. Angka benchmark mendukung klaim keamanannya. Carbon menempati posisi teratas di Artificial Analysis Intelligence Index v5 dengan skor 59. Pada eval keamanan yang dijalankan tanpa guardrail, model ini mencapai 88,2% di SEC-bench Pro untuk menemukan celah dan 54,8% di ExploitGym untuk eksploitasi, keduanya disebut state of the art. Tim Chrome Google melaporkan hasil tambalan berkualitas tinggi lebih dari 10x lebih baik dibanding model frontier dari lab lain.

Angka alignment adalah sisi lain cerita ini, dan sebagian besar berasal dari pengujian internal. Google menyatakan upaya curang yang berhasil di Terminal-Bench 4.0 turun ke nol, peringatan misalignment tingkat tinggi di lingkungan coding langsung turun hampir 80%, dan keberhasilan serangan prompt injection di benchmark Gray Swan 0,0% dibanding 0,7% pada Argon. Harga mulai dari $2 per juta token input dan $10 output selama periode perkenalan, lalu naik menjadi $4 dan $20, dengan input yang di-cache 95% lebih murah. Kendalanya ada di akses: model ini lebih dulu diberikan ke sebagian cyber defender dan hanya meluas bertahap lewat program Fairwind Google, tanpa tanggal pasti untuk ketersediaan umum.

Kenapa ini penting

Kalau kamu bekerja di bidang keamanan, Carbon diberikan ke defender lebih dulu dan disetel persis untuk pencarian celah serta penambalan yang kamu lakukan, jadi layak diuji sejak awal. Bagi yang lain, rollout terbatas ini berarti kamu belum bisa membangun di atasnya, dan angka alignment yang jadi sorotan berasal dari pengujian Google sendiri, bukan pihak independen.