Janas streaming expert dari SSD dan lewati llama.cpp untuk model MoE lokal

Janas adalah mesin inference eksperimental yang ditulis dalam C, tanpa dependensi di luar pustaka C, dan mampu menjalankan model mixture-of-experts yang terlalu besar untuk muat di RAM. Pendekatannya sudah dikenal: model MoE hanya mengaktifkan sedikit expert per token, jadi Janas menyimpan bobot di SSD NVMe dan hanya mengalirkan expert yang dibutuhkan tiap token, sambil menahan expert yang sering dipakai di memori yang tersisa. Yang baru adalah kecepatannya. Di satu laptop dengan Core Ultra 9 dan RAM 32 GB, proyek ini mencatat Qwen3-Next-80B membaca pada 62 token per detik melawan 16 milik llama.cpp, dan menulis pada 24 melawan 2,8. Janas mengklaim lebih cepat dari llama.cpp pada seluruh 13 model yang diuji.

Sebagian keunggulan itu datang dari membaca disk pada kecepatan penuh lewat O_DIRECT, sebagian lagi dari speculative decoding, saat model draf kecil mengusulkan token yang lalu diperiksa model utama. Draf diterima 74 sampai 89 persen pada teks bahasa Inggris, meski hanya sekitar sepertiga pada bahasa Italia untuk satu model kecil. Penulisnya terus terang soal harganya: Janas memenuhi memori kosong dengan cache-nya dan memforsir disk, sehingga di mesin dengan ruang sempit desktop bisa melambat berat atau membeku, dan satu kali pemakaian GPU memicu driver reset. Semua angka berasal dari satu mesin, dan penulis menyebutnya "eksperimen, bukan produk".

Kenapa ini penting

Kalau kamu menjalankan open model secara lokal, ini menunjuk ke jalan yang lebih cepat ketimbang membeli RAM yang tidak kamu punya: storage cepat plus streaming cerdas. Catatan kekurangannya nyata, jadi perlakukan klaim throughput ini sebagai alasan untuk menguji di perangkatmu sendiri, bukan janji.