EmbeddingGemma 2 bawa embedding multimodal langsung ke perangkat

Google merilis EmbeddingGemma 2, model embedding yang cukup kecil untuk berjalan di ponsel dan kini menangani teks, gambar, audio, video, serta kode dalam satu ruang vektor bersama. Model penuhnya berukuran 740 juta parameter, tetapi dirancang modular: inti teks 270 juta parameter dengan encoder vision 170 juta dan audio 300 juta yang opsional, jadi Anda hanya memuat modalitas yang diperlukan. Di Pixel 11 Pro, jalur teks saja memakai sekitar 191MB RAM dengan quantization, sedangkan setup multimodal penuh sekitar 567MB.

Inti dari ruang embedding terpadu adalah pencarian lintas modalitas tanpa server: kueri teks bisa langsung dicocokkan dengan gambar atau potongan audio di perangkat itu sendiri. Context window-nya naik menjadi 8K token, empat kali versi pertama, cukup untuk 29 gambar atau sekitar lima setengah menit audio dalam sekali proses. Di benchmark MTEB Code, skornya 78,68, naik hampir sepuluh poin dari EmbeddingGemma pertama. Teknik Matryoshka representation learning memungkinkan vektor 768 dimensi dipangkas menjadi 512, 256, atau 128, memotong kebutuhan penyimpanan hingga enam kali lipat bila Anda bisa menoleransi sedikit penurunan kualitas. Model ini dirilis di bawah lisensi Apache 2.0 lewat Hugging Face dan Kaggle.

Kenapa ini penting

Kalau Anda membangun fitur search atau retrieval di aplikasi mobile atau edge, ini memungkinkan Anda mengindeks foto, catatan suara, dan teks dengan satu model tanpa perlu koneksi ke server, hal yang membantu privasi dan pemakaian offline. Lisensi Apache 2.0 berarti model ini boleh dipakai di produk komersial.