Interconnects: multi-teacher on-policy distillation jadi resep post-training 2026

Nathan Lambert dan Finbarr Timbers menghabiskan satu episode Interconnects untuk membedah seperti apa resep post-training di frontier labs pertengahan 2026, dan pola yang berulang sudah punya nama: Multi-teacher On-Policy Distillation, atau MOPD. Tiap lab melatih beberapa teacher spesialis domain secara terpisah, lalu meminta student generalis mengambil sample sendiri. Tiap sample diawasi oleh distribusi teacher yang relevan via reverse-KL, bukan dataset statis. Student tetap generalis sambil mewarisi perilaku ahli di tiap domain.

Timbers menyebut model-model yang ia yakini memakai pola ini: MiMo Flash v2 dengan enam teacher pada Januari, DeepSeek V4 dengan lebih dari sepuluh pada April, dan Nemotron 3 Ultra pada Juni dengan teacher di reasoning, code, dan math. Sebagian lab seperti MAI-Thinking-1 dan GLM-5 berhenti di specialist RL tanpa langkah distilasi on-policy. Kimi K2.5 menempuh jalur berbeda dengan menggabungkan RL teks dan vision di satu loop. Episode ini memposisikan MOPD sebagai update 2026 untuk garis silsilah DeepSeek-R1 yang reasoning-first dari tahun lalu.

Baris paling tajam justru bukan soal teknis. Timbers mengatakan kompleksitas resep ini sudah menabrak batas kapasitas organisasi AI2. Post-training di frontier sekarang sama-sama soal struktur tim seperti soal riset: cukup banyak teacher yang benar-benar ahli, cukup matang harness untuk on-policy sampling skala besar, dan cukup tajam selera untuk memilih komposisinya.

Kenapa ini penting

Buat yang training atau fine-tuning open model, langkah berikutnya bukan menaikkan learning rate atau menambah satu putaran SFT. Langkahnya adalah memecah tim jadi teacher dan menjalankan student di trajektorinya sendiri terhadap teacher itu, yang lebih sulit secara logistik ketimbang algoritmik.