Keluarga Ettin Reranker geser MiniLM lama mulai dari 17M parameter

Tim Sentence Transformers merilis Ettin Reranker family pada 19 Mei, enam cross-encoder yang memberi skor seberapa relevan sebuah dokumen menjawab query, komponen wajib di pipeline retrieve-then-rerank yang dipakai mayoritas sistem search modern. Ukurannya bertingkat dari 17M sampai 1B parameter, semuanya Apache 2.0, hasil distillation dari reranker 1.54B milik mixedbread.

Yang menarik di sini rasio kualitas terhadap ukuran. Model 17M mengalahkan ms-marco-MiniLM-L12-v2, default lama di banyak stack retrieval, dengan selisih 0,05 NDCG@10 di MTEB sekaligus berjalan 2x lebih cepat. Versi 32M menumbangkan bge-reranker-v2-m3 milik BAAI yang berukuran 568M, padahal parameternya 17 kali lebih sedikit. Di sisi besar, varian 1B nyaris menyamai teacher 1.54B yang menjadi sumber distillation, hanya berselisih 0,0001 NDCG@10 namun 54% lebih kecil. Semua enam ukuran menerima context sampai 8.192 token, cukup untuk me-rerank dokumen panjang tanpa harus dipotong dulu, dan kecepatannya datang dari ModernBERT yang berjalan di Flash Attention 2 dengan input unpadded.

Tim juga merilis 143 juta training triples plus skrip training 150 baris, jadi siapa pun bisa melakukan fine-tune di data retrieval sendiri. Detail benchmark dan contoh pemakaian ada di postingan rilis.

Kenapa ini penting

Kalau stack RAG kamu masih menumpuk MiniLM reranker lama, varian Ettin 17M dan 32M kemungkinan besar bisa langsung dipasang sebagai pengganti dan memberi relevansi sekaligus throughput yang lebih baik di hardware yang sama. Context 8K juga menghilangkan satu workaround chunking yang lazim untuk dokumen panjang.