Muon, optimizer yang banyak dipakai, ternyata mematikan neuron

Muon menyebar cepat sebagai pengganti AdamW dalam training language model, jadi temuan dari Tilde Research yang disorot Jack Clark di Import AI layak diperhatikan. Mereka melaporkan bahwa aturan update Muon perlahan mematikan neuron: pada training step 500, lebih dari satu dari empat neuron di layer MLP berhenti merespons update. Seperempat jaringan praktis menganggur.

Tilde membangun alternatif yang mereka sebut Aurora, digambarkan sebagai optimizer leverage-aware untuk matriks rectangular. Dalam pengujian mereka, Aurora mencapai final smoothed loss 2,26 dibanding 2,31 milik Muon, dan unggul sepuluh poin di MMLU. Itu peningkatan nyata untuk perubahan yang hanya menyentuh optimizer, bukan model atau datanya.

Clark sendiri tidak melebih-lebihkan. Ia mengingatkan bahwa peneliti sudah bertahun-tahun mencoba mengalahkan AdamW dan deretan percobaan yang gagal sangat panjang, jadi satu hasil yang menjanjikan belum berarti kemenangan final. Poin yang berguna lebih sempit: sebuah optimizer yang banyak diadopsi punya cacat yang terukur, dan orang yang menemukannya juga menunjukkan ada cara yang lebih baik.

Kenapa ini penting

Buat kamu yang melatih model dan sudah pindah ke Muon demi kecepatannya, neuron yang mati berarti kamu mungkin membayar kapasitas yang tidak pernah terpakai. Sebelum training besar berikutnya, ada baiknya mengukur berapa banyak neuron yang masih hidup, sekaligus memantau apakah hasil Aurora bisa direplikasi di luar setup Tilde sendiri.