Model multimodal 27B dipadatkan ke 1 bit dan berjalan di ponsel

PrismML merilis Bonsai 27B, model multimodal 27 miliar parameter yang dipadatkan cukup jauh sampai bisa berjalan di ponsel. Kuncinya adalah quantization yang agresif. Versi 1-bit menyimpan setiap bobot hanya sebagai minus satu atau plus satu, dengan satu faktor skala per grup, sehingga model turun ke sekitar 1,1 bit per bobot dan 3,9 GB di penyimpanan. Angka itu penting karena iPhone 17 Pro hanya memberi satu aplikasi sekitar 6 GB memori, dan model harus berbagi ruang itu dengan KV cache serta activation miliknya sendiri. Build 27B biasa tidak pernah muat.

Yang menarik adalah betapa sedikit kualitas yang hilang. Pada 15 benchmark, versi 1-bit mempertahankan sekitar 90 persen skor model presisi penuh, sementara build ternary yang sedikit lebih besar (tiga nilai per bobot, 5,9 GB) menahan 95 persen. Kemampuan matematika paling awet, turun dari 95,3 ke 91,7. Tool-calling paling terpukul, jatuh dari 80 ke 66. Format bit rendah ini dipakai di seluruh jaringan, termasuk embedding, attention, dan lapisan output, tanpa lapisan cadangan berpresisi lebih tinggi. Di RTX 5090, model 1-bit menghasilkan 163 token per detik.

Kenapa ini penting

Buat kamu yang membangun aplikasi mobile atau offline, model multimodal yang mampu dan muat di 4 GB berarti vision dan tool-calling bisa jalan langsung di perangkat tanpa server. Uji dulu penurunan tool-calling-nya, karena di situlah build 1-bit paling kehilangan akurasi dan di situ pula alur kerja agent akan terasa dampaknya.