Encoder mungil Liquid AI ungguli ModernBERT dan lebih cepat di CPU

Liquid AI merilis dua open encoder berukuran 230M dan 350M parameter, ditujukan untuk pekerjaan sehari-hari yang tak butuh model generatif: klasifikasi, intent routing, deteksi PII, penilaian teks, dan pencarian multibahasa. Yang tak biasa adalah cara pembuatannya. Alih-alih melatih encoder dari nol, Liquid AI mengonversi model decoder LFM2.5 miliknya dengan mengganti attention mask kausal menjadi bidirectional, menambahkan short convolution non-kausal berpadding simetris, dan melatihnya lewat masked language modeling dengan masking 30%. Jadwal dua tahap memperlebar context window hingga 8.192 token.

Hasilnya sanggup bersaing dengan model yang lebih besar. Pada 17 tugas dan 14 model yang mencakup GLUE, SuperGLUE, dan klasifikasi multibahasa, encoder 350M menempati peringkat keempat, hanya kalah dari model-model yang lebih besar termasuk satu model 3,5B. Yang 230M mengungguli ModernBERT-base dan seluruh model EuroBERT meski ukurannya lebih kecil. Kecepatan jadi nilai jual berikutnya: pada 8.192 token di CPU, model 230M menuntaskan satu forward pass sekitar 28 detik, dibanding lebih dari satu setengah menit untuk ModernBERT-base, kira-kira 3,7 kali lebih cepat, dan ia memimpin di semua panjang sekuens yang diuji. Di GPU, ia unggul mulai sekitar 2.000 token ke atas. Tulisan lengkapnya di sini.

Kenapa ini penting

Kalau kamu menjalankan retrieval atau klasifikasi di CPU atau di edge, model ini memberi akurasi lebih baik daripada ModernBERT dengan ukuran lebih kecil serta keunggulan kecepatan pada input panjang, yaitu titik di mana biaya encoder biasanya paling terasa.