Gemma 4 12B dari Google menghapus vision encoder, ganti satu matrix multiplication

Google menambah varian 12B ke keluarga Gemma 4, dan bagian yang menarik justru yang dibuang. Tulisan resminya menyebut input gambar dan audio masuk ke model bahasa lewat "modul embedding ringan berisi satu matrix multiplication, positional embedding, dan normalisasi," sementara sinyal audio mentah diproyeksikan langsung ke dimensi yang sama dengan token teks. Tidak ada vision encoder terpisah seperti SigLIP, juga tidak ada audio frontend ala Whisper, yang biasanya jadi bentuk standar open model multimodal. Pengumuman Google menyebut arsitektur ini "encoder-free."

Model 12B itu dirilis dengan lisensi Apache 2.0, bisa diunduh dari Hugging Face dan Kaggle, dan langsung jalan di Transformers, llama.cpp, MLX, SGLang, serta vLLM. Google mengklaim performanya hampir menyusul varian 26B mixture-of-experts pada benchmark standar, sambil tetap muat di laptop konsumer dengan 16GB unified memory; Multi-Token Prediction drafters dipaketkan untuk menekan latensi decoding. Angka benchmark per tugas tidak dipublikasi di rilis ini.

Versi 12B ini melengkapi seri Gemma 4 yang dirilis April lalu (2B efektif, 4B efektif, 26B MoE, dan 31B dense). Google menyebut keluarga ini sudah diunduh 150 juta kali. Eksperimen encoder-free justru yang lebih penting di jangka panjang: makin banyak bagian pipeline multimodal yang masuk ke satu graph yang bisa dioptimasi bersama.

Kenapa ini penting

Kalau kamu menanam fitur AI lokal di aplikasi, Gemma 4 12B adalah varian pertama yang bisa dipaketkan dengan kapabilitas multimodal penuh dalam budget 16GB unified memory, dan rancangan encoder-free menyederhanakan integrasinya. Klaim kualitas tetap perlu diuji di data masing-masing sebelum mengganti pipeline berbasis SigLIP yang sudah jalan.