Resep post-training model frontier kian rumit, dan distillation kini jadi pusatnya

Nathan Lambert dan Finbarr Timbers menelusuri bagaimana resep mengubah base model menjadi asisten yang berguna berubah selama empat tahun, dan ringkasnya: resep itu terus bertambah rumit. Pendekatan InstructGPT pada 2022 punya tiga tahap rapi: supervised fine-tuning, reward model, lalu reinforcement learning. Pada 2025, DeepSeek R1 mendorong reinforcement learning skala besar ke pusat proses, bukan sekadar sentuhan akhir. Memasuki 2026, resepnya makin terpecah: lab melatih beberapa model spesialis per domain, lalu menggabungkannya kembali menjadi satu model.

Pola yang mereka soroti adalah multi-teacher on-policy distillation. Menjalankan RL untuk matematika, coding, dan agentic sekaligus dalam satu proses jadi mahal, dan tujuan-tujuannya mulai saling tarik-menarik. Karena itu tim melatih teacher spesialis terpisah, lalu membiarkan satu student model umum menghasilkan jawabannya sendiri dan belajar token demi token dari teacher yang relevan. Ada satu ganjalan nyata yang mereka tandai: NVIDIA menemukan bahwa teacher yang dilatih dengan pipeline sangat berbeda tidak bisa langsung digabung lewat distillation, sehingga tahap merge lebih sulit dari kelihatannya. Lambert juga mencatat DPO, metode preference-tuning yang dua tahun lalu jadi standar, kini hampir hilang dari resep frontier, meski ia jujur bahwa belum jelas apakah metode itu berhenti efektif atau lab sekadar beralih.

Kenapa ini penting

Kalau kamu menggarap post-training, defaultnya tidak lagi satu proses reinforcement learning besar. Rencanakan untuk membangun dan menggabungkan teacher spesialis lewat on-policy distillation, dan sediakan waktu untuk masalah distribution mismatch yang muncul saat menggabungkan model yang dilatih dengan cara berbeda.