AI2 rilis MolmoMotion, model terbuka untuk memprediksi gerak objek dalam 3D

Allen Institute for AI merilis MolmoMotion, model terbuka yang memprediksi bagaimana sebuah objek akan bergerak dalam tiga dimensi sebelum benda itu benar-benar bergerak. Kamu memberi satu frame video, menandai beberapa titik pada objek, lalu menuliskan instruksi seperti pindahkan mangkuk. Model memperkirakan ke mana titik-titik tadi bergerak dalam beberapa detik berikutnya. Ada dua versi yang dibangun di atas backbone vision-language Molmo 2: versi autoregressive yang menuliskan koordinat masa depan sebagai teks dan paling akurat saat lintasannya jelas, dan versi flow-matching yang bekerja di ruang 3D kontinu serta menangani kasus saat satu instruksi bisa berakhir dalam beberapa kemungkinan.

Rilis ini bukan cuma soal model. AI2 juga menerbitkan MolmoMotion-1M, dataset berisi 1,16 juta video yang mencakup 736 jenis gerakan dan 5.600 objek, yang mereka sebut sebagai kumpulan trajektori titik 3D berlabel-aksi terbesar sejauh ini, ditambah PointMotionBench, benchmark 2.700 klip yang mencakup manipulasi dalam ruangan, interaksi tangan-objek, dan adegan luar ruang. Pada tugas pick-and-place robotik, model mencapai keberhasilan 76,3% berbanding 56,0% untuk baseline Molmo 2, dan jaraknya lebih lebar di awal pelatihan: 51% berbanding 19% pada 10.000 langkah. Saat dipakai memandu video generation, model mengungguli model yang lebih besar pada empat dari lima ukuran kualitas.

Bobot model, dataset, benchmark, dan laporan teknisnya semua terbuka, pola yang biasa dipakai AI2. Pengumumannya bisa dibaca di blog AI2.

Kenapa ini penting

Kalau kamu mengerjakan robotik atau video generation, prediksi gerak selama ini jadi mata rantai yang hilang antara mengenali objek dan benar-benar bertindak. Model terbuka plus dataset sejuta contoh menurunkan biaya untuk mencobanya pada tugasmu sendiri, alih-alih menunggu lab tertutup merilisnya.