Model embedding Granite R2 IBM mengalahkan model yang jauh lebih besar

IBM merilis generasi kedua model embedding multilingual Granite, dan bagian menariknya adalah seberapa banyak yang bisa diperas dari model kecil. Ada dua versi, 97 juta dan 311 juta parameter, keduanya berlisensi Apache 2.0 dan dibangun di atas encoder ModernBERT, bukan XLM-RoBERTa yang lama. Context window melonjak dari 512 token ke 32.768, naik 64 kali lipat, dan itu penting kalau kamu meng-embed dokumen panjang, bukan potongan pendek.

Angka yang dilaporkan IBM cukup konkret. Pada suite multilingual MTEB di 18 bahasa, model 97M mencetak 60,3, naik 12,2 poin dari R1, sementara model 311M mencapai 65,2 dan menempati peringkat kedua di antara open model di bawah 500M parameter. Untuk retrieval dokumen panjang, model 311M berada di posisi teratas. Model kecilnya berjalan sekitar 2.500 dokumen per detik dengan bobot 195 MB, sehingga muat di tempat yang tidak bisa ditempati model 300M. Model 311M juga mendukung Matryoshka embedding, jadi vektor bisa dipangkas dari 768 ke 128 dimensi dengan mempertahankan sekitar 97 persen kualitas sambil memakai storage enam kali lebih kecil. IBM mengaitkan peningkatan ini dengan distillation dari beberapa teacher model, contrastive fine-tuning di 52 bahasa plus kode, dan penggabungan checkpoint. Model langsung jalan dengan Sentence Transformers, LangChain, LlamaIndex, dan lainnya, dengan rincian di blog Hugging Face.

Kenapa ini penting

Kalau kamu menjalankan retrieval atau RAG, model 97M berlisensi Apache 2.0 yang mengalahkan baseline kelas 300M dan menangani context 32K adalah penghematan biaya dan latensi langsung, dan Matryoshka membuatmu bisa menukar sedikit akurasi demi storage vektor yang jauh lebih kecil.