Sebuah LLM menyunting bobot model dengan tangan untuk memperbaiki penalarannya

Hampir semua cara mengubah jaringan saraf berjalan lewat training: data dijalankan maju, loss dihitung, lalu gradien menggeser bobot. Tulisan baru dari peneliti MIT CSAIL, Sparks of Weight-Space Programming, mencoba pendekatan yang lebih aneh. Mereka memberi model frontier, GPT-6 Astra, angka mentah sebuah jaringan kecil dan memintanya menalar apa yang dihitung tiap bagian, lalu menyunting bobot secara manual agar sesuai spesifikasi dalam bahasa biasa. Tanpa optimizer, dan di sebagian besar eksperimen tanpa gradien atau training loop sama sekali.

Hasil paling mencolok adalah perbaikan pada Qwen3.5-0.8B, model kecil yang dikenal sering terjebak dalam reasoning loop. Astra melacak loop itu ke satu arah yang ditulis oleh MLP di layer 15 dan 19, lalu mengurangi arah tersebut dari 64 kolom output di tiap layer. Yang disentuh hanya 131.072 bobot, sekitar 0,016% dari model. Dengan 50 forward pass untuk mengecek hasilnya, suntingan itu menaikkan skor MATH-500 dari 7,9% ke 48,1%, GSM8K dari 13,8% ke 67,1%, dan kemampuan mengikuti instruksi di IFEval dari 21,0% ke 62,3%. Porsi jawaban yang mentok di batas 32.768 token turun dari 93% ke 33%. Pada tugas kontrol terpisah, mengubah 3,5% bobot sebuah policy network membuat mobil simulasi melewati tanjakan di seluruh 1.024 episode uji, padahal versi aslinya tak pernah berhasil sekalipun dalam 256 episode.

Penulis berhati-hati soal batas klaim ini. Mereka menyebutnya hasil yang masih sangat awal, terbatas oleh seberapa banyak isi jaringan yang muat di context model. Ketika trik yang sama dicoba pada Gemma 3 270M, yang jarang terjebak loop, skor matematikanya tidak naik sama sekali. Kesimpulan mereka layak diingat: menyunting bobot bisa menyingkirkan hambatan yang menutupi suatu kemampuan, tapi tidak bisa menambahkan kemampuan yang memang tak dimiliki model.

Kenapa ini penting

Jika model bisa membaca dan memperbaiki bobot secara langsung, interpretability tidak lagi sekadar alat diagnosis, tapi mulai jadi cara memperbaiki perilaku tanpa training ulang. Bagi siapa pun yang menggarap alignment atau merilis model kecil, ini alat yang perlu dipantau. Hasil Gemma adalah pagarnya: jangan berharap suntingan bobot memunculkan kemampuan yang sejak awal tidak ada.