Menyusun ulang tokenizer berdasarkan biaya token memangkas inferensi 77%

Tim di Dharma-AI memaparkan VocabX, cara menyusun ulang tokenizer sebuah model kecil berdasarkan biaya tiap token, bukan seberapa sering token itu muncul. Menghasilkan satu token jauh lebih mahal daripada membacanya, sebab decoding dibatasi oleh memory bandwidth, dan dalam pengukuran mereka satu token yang dihasilkan berbiaya 7,4 kali token yang dibaca. Maka VocabX fokus memangkas token yang diproduksi model. Metode ini bekerja pada dua lapis dengan satu aturan biaya: potongan sub-kata untuk istilah domain, dan "macro token" multi-kata untuk rentang berulang seperti pembungkus JSON. Base model, data, dan resep training semuanya tetap sama.

Pada kasus produksi utama mereka, sebuah penilai esai Bahasa Portugis yang dibangun di atas Qwen3-4B dan dijalankan pada RTX 5090, biaya turun 77 persen dan panjang respons rata-rata anjlok dari 350 menjadi 101 token, sementara skor benchmark naik dari 0,703 ke 0,810. Di lima domain dan tiga keluarga model, yakni Qwen3, Llama-3.1, dan Gemma-3, metode ini memampatkan lebih banyak ketimbang pendekatan pembanding terkuat pada seluruh 15 kombinasi yang diuji. Penulisnya, Bernardo França de Aguiar, mencatat hasil ini berasal dari paper yang masih dalam proses review, jadi angkanya bisa berubah.

Kenapa ini penting

Kalau kamu menjalankan model kecil di produksi untuk tugas yang sempit, ini tuas yang memangkas biaya inferensi dan latensi tanpa menyentuh kualitas model, dan di sini malah menaikkan akurasi. Keuntungannya bergantung pada keluaran yang berulang dan terstruktur, jadi ukur pada trafikmu sendiri sebelum berharap angka 77 persen penuh.