Async RL jadi murah dikirim saat 99% bobot model tidak berubah

Tim TRL Hugging Face merilis fitur delta weight sync yang melakukan hal yang sebagian besar setup async RL belum repot pikirkan: alih-alih mengirim seluruh model ke inference engine tiap langkah optimizer, cukup kirim parameter yang benar-benar berubah. Motivasinya adalah bottleneck yang muncul saat skala dinaikkan. Model 7B di bf16 berarti 14 GB per langkah; model frontier 1T sekitar 1 TB per langkah, dan inference harus menunggu data sebesar itu pindah.

Keuntungannya datang dari hasil pengukuran, bukan trik kompresi. Pada learning rate RL yang umum, sekitar 3e-6, sebagian besar update Adam ukurannya lebih kecil dari yang bisa direpresentasikan bf16 pada magnitude bobot itu. Update terserap oleh pembulatan dan bit bf16-nya tetap sama. Pengukuran tim menunjukkan sekitar 99% bobot identik bit-per-bit antara dua langkah berturut, dengan kasus terburuk 98%. Untuk Qwen3-0.6B, ini mengubah sinkronisasi 1,2 GB jadi sparse delta 20-35 MB, sekitar 60x lebih ringan, dengan jeda inference cuma satu detik per sync. Ekstrapolasi ke skala Llama-3.1-405B, checkpoint 810 GB menyusut jadi sekitar 6 GB per delta.

Format wire-nya safetensors biasa, dengan snapshot anchor tiap N langkah dan patch sparse di antaranya. Arsitekturnya satu kotak trainer, satu hub bucket untuk storage, dan satu vLLM rollout server, dan tak satu pun perlu berbagi jaringan. Konsekuensi praktisnya: async RL bisa lewat antar wilayah atau antar cloud, beberapa replika inference cukup menarik delta yang sama dari bucket yang sudah deduplikasi konten, dan tiap file masih bisa dibuka dengan tool standar.

Kenapa ini penting

Untuk yang sedang membangun pipeline RL atau sistem post-training, ini mengubah asumsi topologi cluster yang dibutuhkan. Async RL lintas region atau lintas cloud sebelumnya tidak praktis karena beban transfer bobot; ide yang sama membuat training skala triliun parameter mungkin di infrastruktur tanpa NCCL bersama. Tetap uji di loop sendiri sebelum percaya angkanya, tapi argumen presisi bf16-nya yang paling layak dibaca lebih dulu.