Cerebras membelah model triliunan parameter ke 59 wafer

Cerebras menerbitkan penjelasan teknis tentang cara mereka melayani model sangat besar di perangkat wafer-scale, dengan contoh nyata Kimi K3 yang berukuran sekitar 3 triliun parameter. Idenya adalah memperlakukan chip seperti jalur perakitan. Tiap wafer WSE-3T punya memori on-chip 44 GB, jadi model dipotong per layer dan disebar ke banyak wafer yang masing-masing memegang satu bagian tetap dari jaringan. Dengan kuantisasi bobot 4-bit, tiap layer dari 93 layer Kimi K3 butuh sekitar 16 GB, sehingga sebagian besar layer muat di satu wafer dengan sisa ruang untuk state-nya.

Pembagiannya tidak merata. Tiap dense attention layer mendapat satu wafer sendiri, dengan sisa memori dipakai untuk KV cache, sementara linear-attention layer yang lebih ringan dijejalkan dua per wafer karena hanya butuh state kecil berukuran tetap per request. Hitungannya jadi 35 wafer untuk 69 linear layer ditambah 24 untuk dense layer, totalnya 59 wafer. Tulisan karya Sarah Chieng ini menegaskan bobot tak pernah berpindah setelah dimuat. Hanya aktivasi yang berjalan antarwafer, lewat RDMA di Ethernet sekitar 2 mikrodetik per lompatan, sehingga request berbeda bisa menempati tahap berbeda secara bersamaan. Cerebras menyebut konfigurasi ini menjalankan model multi-triliun parameter di kisaran 1.000 sampai 2.000 token per detik, dan mereka berpendapat cara jujur membandingkan sistem adalah token per detik per megawatt pada kecepatan keluaran yang sama, bukan sekadar batch size atau konkurensi.

Kenapa ini penting

Kalau kamu sedang memilih tempat menjalankan inference model besar, ini gambaran konkret tentang desain yang menukar pemindahan bobot ala GPU dengan pipeline tetap. Angka per megawatt itulah yang perlu kamu tuntut dari vendor saat membandingkan penawaran, karena throughput di judul bisa menyembunyikan seberapa besar daya yang dibutuhkan untuk mencapainya.