Modal pangkas cold start GPU serverless hingga 40 kali

Inference GPU serverless punya masalah mendasar. Saat trafik melonjak dan kamu butuh replica baru, menyalakannya bisa makan beberapa menit, jadi kebanyakan tim membiarkan GPU mahal menganggur sebagai cadangan. Menurut pengukuran Modal sendiri, utilisasi alokasi GPU yang nyata cuma 10 sampai 20 persen gara-gara ini. Dalam tulisan teknis yang rinci, tim Modal memaparkan cara mereka menekan cold start dari sekitar 2.000 detik ke 50 detik, pemangkasan 40 kali, dan mengaku memulihkan kira-kira 50 juta replica untuk pelanggan dalam tiga bulan.

Percepatan itu datang dari membereskan empat sumber keterlambatan yang berbeda. Sebuah solver linear-programming menjaga buffer GPU menganggur yang ukurannya dihitung terhadap harga dan ketersediaan cloud, sehingga alokasi instance keluar dari jalur kritis. Filesystem FUSE berbasis content-addressed memuat metadata image container dalam sekitar 100 milidetik lalu mengambil sisanya saat dibutuhkan, bukan menarik seluruh layer di awal. State proses di-checkpoint dengan gVisor setelah proses import dan inisialisasi selesai, jadi tiap replica melompati beberapa detik pemuatan modul. Bagian terakhir memakai checkpoint memori GPU di level driver Nvidia untuk membekukan context CUDA, dan ini saja memberi percepatan 4 sampai 10 kali pada startup engine inference. Pada satu kasus, boot vLLM turun dari 95,7 jadi 13,8 detik, dan Reducto turun dari sekitar 70 detik ke 12 detik.

Kenapa ini penting

Kalau kamu menjalankan inference GPU dengan autoscaling, cold start adalah alasan kamu terpaksa over-provisioning dan membayar accelerator yang menganggur. Teknik di sini, terutama checkpoint memori GPU, cukup konkret untuk ditiru atau dituntut dari vendor platform sebelum kamu menerima anggapan bahwa scale-to-zero itu tidak praktis.