AMD akuisisi Taalas, yang mengukir model langsung ke silikon

AMD mengakuisisi Taalas, startup asal Toronto yang berdiri pada 2023 dengan pendekatan tak lazim untuk inference. Alih-alih memuat bobot dari memori HBM ke GPU serba guna, Taalas mengukir bobot itu langsung ke dalam chip. The Register menyebutnya sebagai model-specific integrated circuit: satu area mask-ROM menyimpan bobot yang sudah tetap, sementara area SRAM yang lebih kecil menampung KV cache dan adapter hasil fine-tuning. Nilai transaksi tidak diungkap, meski laporan menegaskan ini akuisisi sungguhan, bukan sekadar merekrut talenta.

Angkanya yang membuat kasus ini menarik. Taalas mengklaim chip uji HC1, dibuat dengan proses 6nm TSMC, melayani Llama 3.1 8B milik Meta pada 16.960 token per detik. Saat diumumkan Februari lalu, angka itu disebut 48 kali lebih cepat dari GPU Nvidia dan 8,5 kali lebih cepat dari Cerebras. Chip berikutnya, HC2, menargetkan 20 miliar parameter, dan Taalas memperkirakan model triliunan parameter hanya butuh sekitar 50 akseleratornya, dibanding ribuan LPU Groq. Menurut perusahaan, mengukir model ke silikon berbiaya sekitar 100 kali lebih murah daripada melatih model frontier dari awal.

Masalahnya ada di kekakuan. Begitu sebuah model tertanam, Anda terkunci padanya. Perubahan yang lebih besar dari sekadar adapter kecil menuntut chip dicetak ulang, walau Taalas bilang hanya dua lapis logam yang perlu diganti, sehingga biaya pembaruan tak terlalu berat.

Kenapa ini penting

Kalau Anda melayani satu model yang stabil dalam volume besar, ini membuka jalan yang jauh lebih murah dan cepat dibanding menyewa GPU, dengan konsekuensi hardware Anda terkunci ke satu versi model. Pilihan ini cocok untuk model matang yang jarang berubah, jadi timbang dulu seberapa sering model produksi Anda benar-benar berganti sebelum bertaruh pada silikon tetap.