NVIDIA rilis Cosmos 3, model omni terbuka untuk physical AI

NVIDIA merilis Cosmos 3 di Hugging Face, satu foundation model yang menyerap apa yang sebelumnya empat model Cosmos terpisah untuk physical AI: pembangkitan dunia, reasoning, dynamics, dan policy. Modelnya menerima input dari teks, gambar, video, dan sinyal aksi, dan menghasilkan kombinasi mana pun dari itu. Artinya satu checkpoint bisa berperan sebagai vision-language model, video generator, forward dynamics model yang memprediksi frame berikutnya dari sebuah aksi, atau inverse dynamics model yang menyimpulkan aksi dari sebuah video.

Ada dua ukuran open-weight. Cosmos 3 Nano berisi 16 miliar parameter yang dipecah menjadi 8B reasoner dan 8B generator, pas untuk satu GPU workstation seperti RTX PRO 6000. Cosmos 3 Super 64B, gabungan 32B plus 32B, ditujukan untuk kartu datacenter Hopper atau Blackwell untuk pembangkitan synthetic data skala besar. Arsitekturnya backbone Mixture-of-Transformers dengan encoder khusus per modalitas, sub-sequence autoregressive untuk reasoning, dan sub-sequence diffusion untuk generation. Keduanya bisa ditukar tanpa mengubah arsitektur, dan itu yang memungkinkan satu model berganti mode.

Rilisnya mencakup integrasi Diffusers, skrip post-training, dan dataset synthetic data yang mencakup simulasi robot, fisika, spatial reasoning, gerak manusia, autonomous driving, dan operasi gudang. Ketentuan lisensinya ada di model card di Hugging Face.

Kenapa ini penting

Untuk tim yang mengerjakan robotik, stack autonomous vehicle, atau persepsi gudang, kelangkaan data latih selama ini menjadi hambatan nyata, dan menjahit empat model spesialis menambah kompleksitas. Satu omni model terbuka yang muat di satu workstation menurunkan ambang untuk eksperimen serius. Nano 16B yang paling masuk akal dicoba duluan.