OlmoEarth v1.1 dari Ai2 pangkas biaya compute 3x lewat penataan ulang token

Ai2 merilis OlmoEarth v1.1 pada 19 Mei, penyegaran foundation model terbuka mereka untuk citra satelit. Klaim utamanya: biaya compute turun 3x untuk inference maupun fine-tuning, tanpa penurunan akurasi yang berarti di benchmark riset maupun di tugas-tugas yang disusun mitra untuk v1.0.

Kuncinya ada di cara model menokenkan input Sentinel-2. OlmoEarth versi awal menghasilkan satu token per resolusi per patch per timestep, sehingga untuk tiga resolusi Sentinel-2 dan dua timestep, satu patch citra membutuhkan enam token. Versi 1.1 menggabungkan ketiga resolusi tadi menjadi satu token per patch per timestep, memotong panjang sequence sebanyak 3x. Karena biaya attention tumbuh kuadratik terhadap panjang sequence, arsitektur yang sama jadi jauh lebih murah dijalankan dari ujung ke ujung, dan pengukuran MAC tim Ai2 sejalan dengan hitungan tersebut.

Ai2 perlu melakukan pre-training ulang dengan objective yang dimodifikasi supaya akurasi tidak turun lebih dari sepuluh poin persen di benchmark, jadi penghematan ini tidak datang gratis. Meski begitu trade-off-nya tetap menguntungkan. Tiga ukuran (Nano, Tiny, Base) sudah tersedia di Hugging Face dengan lisensi terbuka, lengkap dengan technical report dan kode pre-training-nya.

Kenapa ini penting

Tim earth observation yang menjalankan peta skala negara biasanya tersendat di sisi compute setiap kali memperbarui prediksi. Memotong biaya per citra sebanyak 3x berarti pembaruan jadi lebih sering di anggaran hardware yang sama, sekaligus membuat fine-tuning rutin di dataset lokal lebih terjangkau bagi kelompok di luar lab yang dananya melimpah.