Peneliti ini membantah bahwa jaringan saraf memang berantakan

Selama bertahun-tahun, narasi baku di bidang interpretability adalah bahwa jaringan saraf memang berantakan: satu neuron aktif untuk konsep-konsep yang tak berhubungan, dan fitur yang berguna berdesakan dalam "superposition" karena jaringan punya lebih banyak hal untuk direpresentasikan daripada jumlah neuronnya. Nick Cammarata, yang kini di Goodfire, berargumen bahwa bukti utama di balik pandangan ini salah dibaca, dan kekusutan yang terlihat sebagian besar berasal dari sebab yang bisa diperbaiki: tools yang lemah, dataset yang pendek, dan arsitektur yang usang. Ia menegaskan ini hipotesis kerja, bukan kesimpulan final.

Bukti paling tajamnya adalah uji ulang InceptionV1. Latih kembali lapisan terakhirnya dengan perubahan modern biasa, yaitu residual connection dan LayerNorm, pada ukuran dan data yang sama, dan Cammarata memperkirakan 99 sampai 100 persen neuron di lapisan terakhir menjadi bisa ditafsirkan. Neuron "kucing/mobil" terkenal yang memicu cerita polysemanticity ditafsir ulang sebagai detektor bentuk V sederhana, dengan dua kutubnya melacak bentuk runcing versus bulat, bukan daftar objek. Audit awal pada model bahasa Qwen3-32B menempatkan sekitar 90 persen neuron pada satu tugas utama dan 2 sampai 4 persen yang belum terpahami. Bandingkan dengan riset monosemanticity Anthropic pada 2023, saat neuron median bernilai nol, atau hasilnya sendiri di OpenAI pada 2023 yang sekitar 1,7 persen bisa ditafsirkan. Ia terus terang bahwa angka kebersihan mana pun bergantung pada ambang batas, dan penerapan metode ini ke model yang sangat besar masih sebagian besar belum teruji.

Kenapa ini penting

Jika klaim ini bertahan, banyak upaya interpretability selama ini habis untuk melawan masalah yang sebagian dibuat sendiri. Bagi siapa pun yang membangun tools untuk memahami model, pertanyaannya menjadi: lanjut berinvestasi pada sparse autoencoder untuk superposition, atau perbaiki dulu arsitektur dan tools lalu lihat apa yang ternyata sudah terbaca jelas.