Diffusion LLM open dari NVIDIA enam kali lebih cepat dari baseline autoregressive

NVIDIA merilis keluarga diffusion language model di bawah program riset Nemotron-Labs: tiga model teks ukuran 3B, 8B, dan 14B parameter, plus satu vision-language model 8B, semuanya dengan varian base dan chat dan bobotnya tersedia di Hugging Face. Yang menarik bukan ukuran modelnya. Tiap checkpoint bisa berpindah ke tiga mode generasi sekaligus dengan bobot yang sama: decoding autoregressive untuk kompatibilitas, diffusion block-wise untuk generasi paralel, dan self-speculation yang memakai draft diffusion lalu diverifikasi dengan satu pass AR.

Angkanya berpihak pada diffusion. Menurut NVIDIA, model 8B unggul 1,2 poin di akurasi rata-rata dibanding Qwen3-8B setelah dilatih bersama dengan objective AR dan diffusion di 1,3 triliun token pretraining dan 45 miliar token SFT. Dalam mode self-speculation di GPU B200, throughput-nya sekitar 865 token per detik, kira-kira empat kali baseline autoregressive, dan NVIDIA mengklaim percepatan hingga 6,4× pada metrik tokens-per-forward-pass yang hardware-agnostic. Block-wise attention menjaga KV cache tetap kompatibel dengan stack serving yang sudah ada. Selama ini, justru bottleneck itulah yang menahan diffusion LM tetap jadi topik paper.

Resep training, technical report, dan integrasi SGLang ikut dibuka. Itu penting karena selama ini diffusion language model lebih banyak hidup di paper dan demo kecil. Menaruh bobot beserta jalur serving yang sudah berjalan di Hugging Face mengubah debat AR vs diffusion jadi sesuatu yang bisa langsung dicoba developer di workload mereka sendiri.

Kenapa ini penting

Kalau kamu melayani LLM dengan concurrency tinggi, ini diffusion LLM pertama yang benar-benar bisa di-deploy. Percepatannya nyata, tapi mengandalkan self-speculation, jadi uji dulu di profil latensi kamu sebelum mengganti model AR yang sudah jalan; diffusion membeli throughput dengan ongkos scheduling inference yang lebih rumit.