Ai2 menyiapkan tolok ukur bersama untuk model cuaca AI

Allen Institute for AI bersama sejumlah lab iklim dan machine learning membentuk AIMIP, sebuah benchmark bersama untuk model cuaca dan iklim berbasis AI. Alasannya sederhana. Model AI bisa menghasilkan prakiraan jauh lebih cepat daripada simulasi fisika, tetapi bidang ini belum punya cara baku untuk menguji apakah prakiraan itu benar-benar akurat dan andal. Proyek intercomparison lama dirancang untuk model iklim konvensional dan tidak menyentuh pertanyaan khas model AI, misalnya seberapa kuat model bertahan di luar kondisi data latihnya.

Fase 1 mengunci aturan agar hasil bisa dibandingkan. Setiap model memprakirakan kondisi atmosfer global dari 1979 sampai 2024 setelah dilatih hanya pada observasi ERA5 hingga 2014, lalu melaporkan suhu, kelembapan, dan angin di tujuh level atmosfer plus variabel permukaan dalam format standar CMIP. Kondisi laut dan es laut ditetapkan dari observasi supaya putaran pertama fokus pada atmosfer. Enam kelompok, termasuk Ai2, NVIDIA, Google Research, dan tiga universitas, mengirim delapan simulasi. Hasil utamanya terbelah. Model AI terbaik memangkas separuh error rata-rata pada variabel seperti suhu udara dekat permukaan, tetapi tidak konsisten pada tren pemanasan jangka panjang dan pada skenario yang belum pernah mereka lihat, seperti pemanasan laut yang ekstrem. Ai2 merilis dataset lewat pusat komputasi DKRZ di Jerman dan menerbitkan preprint, yang diuraikan di blog Ai2.

Kenapa ini penting

Kalau kamu melatih atau mengandalkan model cuaca AI, AIMIP memberi tolok ukur bersama sekaligus peringatan jelas: model cocok dengan catatan historis, tetapi makin goyah begitu kondisi keluar dari data latihnya.