Klaim AI 'membaca' bobot model dinilai terlalu dibesar-besarkan

Pekan lalu beredar klaim bahwa sebuah model AI bernama Astra bisa membaca dan memperbaiki jaringan neural lain hanya dengan memeriksa bobot mentahnya. Matthew Honnibal, pembuat library spaCy, membedah klaim itu dan menilai judulnya menjanjikan lebih dari yang sebenarnya terjadi. Ia tidak bilang penelitiannya palsu. Masalahnya, menurut dia, satu tulisan menggabungkan dua jenis eksperimen yang sangat berbeda, dan gabungan itu memberi kesan ada satu kemampuan umum yang tidak didukung bukti.

Sebagian eksperimen memang benar-benar membaca bobot mentah tanpa kode dan tanpa menjalankan jaringannya. Astra menebak game yang dipakai melatih sebuah policy reinforcement learning, empat kali benar dari empat percobaan, mengenali bentuk yang digambar jaringan diffusion kecil, dan memperbaiki policy mobil yang macet. Tapi jaringan-jaringan itu mungil, antara 17.000 dan 172.000 bobot. Hasil yang paling banyak dibicarakan, menaikkan skor MATH-500 pada Qwen3.5-0.8B dari 7,9% ke 48,1% dengan hanya mengubah 0,016% bobotnya, ternyata berbeda: hasil itu bergantung pada kode Python dan menjalankan model pada hingga 50 batch soal latihan. Itu lebih mirip pekerjaan seorang machine learning engineer dengan tooling-nya ketimbang "membaca" bobot secara langsung.

Honnibal mengakui hasil Qwen tetap menarik dan kemungkinan besar akan gagal pada model dari satu atau dua tahun lalu. Keberatannya soal cara penyajian. Menaruh tugas membaca bobot langsung dan tugas yang dibantu kode dalam satu tulisan membuat seolah ada satu pemahaman bobot yang utuh, padahal tiap tugas memakai metode berbeda dan hanya sebagian yang benar-benar menyentuh bobot.

Kenapa ini penting

Kalau kamu membaca riset AI lewat abstraknya saja, ini pengingat untuk mengecek eksperimen mana yang sebenarnya mendukung judul. Jarak antara "model membaca bobot" dan "model menulis kode untuk menganalisis bobot" mengubah apa yang pantas kamu harapkan saat mencobanya sendiri.