Ai2 atasi penimbunan GPU dengan mengubah prioritas jadi anggaran

Tim infrastruktur Ai2 mengelola cluster GPU untuk sekitar 150 peneliti, dengan permintaan dua hingga tiga kali lipat dari pasokan. Catatan mereka jujur soal akibat penjadwal lama yang berbasis prioritas: orang menimbun GPU yang tidak mereka pakai, prioritas terus membengkak sampai tingkat bawah kelaparan, dan seseorang harus bernegosiasi manual untuk mematikan job yang tidak bisa dipreempt. Solusinya adalah berhenti memperlakukan akses sebagai tangga prioritas, lalu memperlakukan waktu GPU sebagai anggaran yang dialokasikan manajer ke program, proyek, dan tiap individu. Semua pekerjaan terlindungi yang tidak bisa dipreempt harus dibebankan ke anggaran itu, sehingga upaya mengakali penjadwal kini memakan jatah sendiri.

Dua komponen lain membuatnya berjalan. Algoritma fair-share bertingkat memantau pemakaian dalam jendela tujuh hari bergulir dan mengutamakan alokasi yang selama ini kurang terlayani, dengan struktur pohon yang mengikuti susunan program Ai2 yang sebenarnya. Lalu setiap job menyatakan durasi minimum terlindungi, dibatasi delapan jam, dan setelah itu ia boleh dipreempt dan diantrekan ulang. Sebelum diterapkan, mereka menguji rancangan ini di simulator memakai skenario historis dan skenario buatan.

Hasil yang mereka laporkan, dari jendela 30 hari di cluster mereka sendiri, cukup spesifik. Tim menerima 98% jam GPU yang menjadi haknya, dan 13 dari 15 alokasi mendapat setidaknya 95%. Waktu tunggu p90 untuk job debug turun dari sekitar dua jam menjadi 30 detik. Di cluster H100 terbesar, waktu tunggu median turun dari lima menit menjadi 24 detik. Perbaikan yang butuh campur tangan manusia turun 74%. Batas delapan jam memang mengganggu sesi interaktif, sehingga mereka berencana menyiapkan cluster dev khusus CPU dan sesi yang bisa dipulihkan.

Kenapa ini penting

Kalau Anda mengelola GPU bersama, ini alternatif konkret dari perang prioritas yang memboroskan perangkat keras sekaligus menggerus kepercayaan. Anggaran membuat penimbunan jadi mahal bagi si penimbun, dan angka-angka di sini memberi acuan untuk mengusulkan perubahan, dengan catatan bahwa semuanya berasal dari uji singkat di satu organisasi.