Satu layer transformer bisa menyamai RL fine-tuning penuh

Saat kamu melakukan fine-tuning sebuah language model dengan reinforcement learning agar lebih jago matematika atau kode, pendekatan standarnya memperbarui semua parameter. Sebuah paper baru yang dipimpin Zijian Zhang mempertanyakan apakah itu perlu, dan jawabannya mengejutkan: melatih satu layer transformer yang dipilih dengan tepat memulihkan sebagian besar peningkatan yang diberikan RL parameter penuh. Para penulis mendefinisikan metrik yang mereka sebut layer contribution, yaitu porsi dari total peningkatan RL yang didapat dengan hanya melatih satu layer sementara sisanya dibekukan. Metrik itu diukur pada tujuh model dari keluarga Qwen3 dan Qwen2.5, tiga algoritma RL termasuk GRPO dan Dr. GRPO, serta tugas mulai dari penalaran matematika, pembuatan kode, hingga pengambilan keputusan agentic.

Polanya konsisten di semua pengujian. Layer yang berpengaruh berada di tengah tumpukan, sedangkan layer dekat input dan output menyumbang jauh lebih sedikit, dan urutan layer mana yang membantu tetap stabil di berbagai dataset, tugas, keluarga model, dan algoritma. Kestabilan itulah bagian yang menarik. Temuan ini mengisyaratkan bahwa post-training RL tidak menyebar merata ke seluruh jaringan, melainkan terkonsentrasi di area yang bisa diprediksi sejak awal.

Kenapa ini penting

Kalau adaptasi RL memang hidup di segelintir layer tengah, kamu bisa melatih dan menyimpan update yang jauh lebih kecil, sehingga biaya compute dan memori untuk post-training turun. Siapa pun yang menjalankan RLHF atau fine-tuning penalaran perlu memantau apakah temuan ini bertahan di skala lebih besar, karena ia menunjuk ke resep yang lebih murah ketimbang memperbarui seluruh model.