Melatih ulang world model agar berhenti menggambar tangan manusia di robot

NVIDIA dan Hugging Face merilis panduan praktis untuk mengadaptasi Cosmos Predict 2.5, sebuah world model berukuran 2 miliar parameter yang menghasilkan video dengan fisika masuk akal dari teks atau gambar, untuk satu tugas spesifik: memproduksi rekaman manipulasi robot sintetis. Motivasinya praktis. Merekam trajektori robot sungguhan itu lambat dan mahal, sedangkan model video yang bisa membuatnya memberi tim robot-learning data latih yang lebih murah.

Tanpa penyesuaian, model ini punya kelemahan khas. Ketika diberi gambar gripper robot, ia cenderung kembali ke apa yang paling sering dilihatnya saat training dan malah menggambar tangan manusia, dan gerakannya bergetar. Solusinya fine-tuning dengan LoRA atau DoRA, yang membekukan model dasar dan hanya melatih modul adapter kecil. Cara ini menghindari catastrophic forgetting yang berisiko muncul kalau seluruh 2 miliar parameter diperbarui, menjaga kebutuhan memori cukup rendah untuk satu GPU 80GB, dan menghasilkan file adapter yang kecil sehingga mudah ditukar per domain. Dengan rank 32, training hanya menyentuh sekitar 50 juta parameter, dan satu putaran 100 epoch memakan waktu sekitar 17 jam di satu H100 atau 2,5 jam jika dibagi ke delapan GPU.

Panduan ini juga serius soal evaluasi. Konsistensi geometris diukur dengan Sampson error antar-frame dan antar-sudut pandang, sementara model terpisah, Cosmos Reason2, dipakai sebagai juri yang menilai kewajaran fisika dan kepatuhan pada instruksi. Setelah fine-tuning dengan 92 video contoh, tangan tergambar benar dan gerakannya jadi stabil.

Kenapa ini penting

Kalau kamu melatih policy robot, ini resep konkret untuk membuat data video yang sesuai domain tanpa harus membeli waktu robot. Pelajaran yang bisa dipakai ulang: world model umum biasanya perlu satu langkah adaptasi kecil dan murah sebelum keluarannya bisa dipercaya untuk tugas yang sempit, dan panduan ini menunjukkan cara memeriksanya, bukan sekadar mengasumsikan berhasil.