Cara Cloudflare menekan biaya melayani model terbuka Kimi dan GLM

Cloudflare memaparkan cara mereka menjalankan dua model open-weight berukuran besar, Kimi dari Moonshot dan GLM dari Z.ai, cukup murah untuk dilayani dalam skala besar, dan tulisannya luar biasa konkret soal trade-off-nya. Intinya ada pada dua bentuk kompresi ditambah satu pemeriksaan keamanan. Untuk Kimi, tim mengkuantisasi KV cache dari 16-bit ke floating point 8-bit, yang memangkas ukurannya jadi separuh dan memungkinkan satu deployment menampung sekitar 1,37 juta token, bukan 686.000. Kapasitas itu langsung berujung pada konkurensi: 64 permintaan serentak alih-alih 32, throughput sekitar 41% lebih tinggi, dan biaya per token kira-kira 30% lebih rendah.

Untuk GLM 5.2 mereka melangkah lebih jauh dan mengompresi bobotnya sendiri dari integer 8-bit ke 4-bit, menyusutkan checkpoint dari 705 GB ke 421 GB dan menurunkan memori per-GPU dari 88 GB ke 52 GB. Proses decoding jadi 55% lebih cepat pada konkurensi rendah. Bagian ketiga adalah pemeriksaan integritas KV cache yang memvalidasi pemetaan halaman sebelum tiap langkah decode agar satu permintaan tidak bisa membaca memori permintaan lain, dan ongkosnya di bawah 1% throughput. Di GSM8K, MMLU, dan ARC, akurasi hanya bergeser kurang dari 0,8 poin, dan angka itulah yang membuat sisanya layak dipakai.

Catatan tekniknya lengkap di blog Cloudflare. Kesimpulannya, jarak antara model terbuka kelas frontier dan model yang benar-benar bisa dilayani kini lebih banyak soal kuantisasi dan memori, bukan soal kemampuan.

Kenapa ini penting

Kalau Anda menimbang antara self-host model terbuka atau membayar API terkelola, angka-angka ini jadi rujukan: KV cache FP8 dan bobot INT4 bisa memangkas biaya layanan hampir separuh dengan akurasi nyaris tak berubah. Tangkapannya ada di waktu rekayasa, jadi pertanyaannya apakah volume Anda sepadan dengan membangun apa yang baru saja dijelaskan Cloudflare.