HBM kini 63 persen biaya komponen chip AI, kata data Epoch AI

Venkat Somala dari Epoch AI menaruh angka kongkret pada cerita yang sebenarnya sudah lama kita curigai: high-bandwidth memory adalah komponen termahal di akselerator AI hari ini. HBM tumbuh dari 52 persen total biaya komponen chip AI di Q1 2024 menjadi 63 persen di Q4 2025. Dalam dolar, belanja Nvidia, AMD, Google, dan Amazon untuk HBM naik dari sekitar $12 miliar pada 2024 ke $32 miliar pada 2025. Advanced packaging turun dari 19 ke 15 persen, komponen pendukung dari 15 ke 9, sedangkan logic die relatif tetap di kisaran 13 persen. Rinciannya bisa dilihat di halaman data Epoch, epoch.ai.

Perubahan struktur biaya seperti ini punya implikasi nyata. Logic die selama ini yang sering kita sebut "chip", tapi bill of materials sebuah accelerator sekarang lebih banyak ditentukan oleh tumpukan DRAM ketimbang silikon komputasinya sendiri. Itu menjelaskan kenapa SK hynix, Micron, dan Samsung terus menaikkan harga HBM hingga 2026, kenapa Microsoft dan Meta mengerek perkiraan capex mereka, dan kenapa DDR5 untuk server biasa dan laptop ikut tertekan harganya. Pabrik memori menuju siapa yang berani bayar paling mahal per wafer, dan saat ini itu adalah pembeli akselerator AI.

Bagi siapa pun yang mencoba memperkirakan ke mana ongkos inference akan bermuara, ini titik data paling jernih dalam beberapa bulan terakhir. Implikasinya: batas bawah biaya per token kini ditentukan di tumpukan HBM, bukan di compute GPU atau di packaging, dan kecepatan harga turun bergantung pada yield memori, bukan pada roadmap Nvidia.

Kenapa ini penting

Kalau kamu membangun di atas LLM berbayar atau menganggarkan kapasitas GPU untuk dua tahun ke depan, biaya inference akan lebih mengikuti pasokan HBM daripada faktor lain. Pantau harga memori, bukan compute mentah, sebagai indikator lebih dini kapan harga API mulai bergerak lagi.