Chip AI makin murah sekitar 49% per unit compute tiap tahun

Epoch AI memberi angka konkret untuk hal yang biasanya cuma dibahas kira-kira: seberapa cepat compute AI jadi lebih murah. Dengan melihat chip yang benar-benar dibeli tiap kuartal dari awal 2023 sampai akhir 2025, mereka menemukan performa per dolar naik sekitar 49% per tahun, setara dengan penggandaan setiap 1,7 tahun. Interval kepercayaan 90% berkisar dari 36% sampai 66%, jadi trennya kuat meski angka pastinya masih bisa bergeser.

Kenaikannya tidak mulus. Sampai pertengahan 2024 perbaikannya hampir datar, sekitar 6% per tahun, lalu melonjak tajam begitu chip Nvidia generasi Blackwell mendominasi belanja. Epoch menghitungnya dengan membagi total throughput komputasi dengan total pengeluaran tiap kuartal, dalam dolar 2025 yang sudah disesuaikan inflasi, memakai metrik Total Processing Performance: operasi puncak per detik dikalikan lebar presisi numerik. Sampelnya mencakup 24 model chip dari Nvidia, AMD, Google, Amazon, Huawei, dan lainnya. Satu perbandingan menggambarkan busur panjangnya: Nvidia GB300 berharga sekitar 5,5 kali P100 tahun 2016, tapi memberi performa kira-kira 200 kali lipat, jadi efisiensi biayanya sekitar 37 kali lebih baik.

Epoch menegaskan angka ini berbasis spesifikasi teoretis. Beban kerja nyata bergantung pada software dan tingkat utilisasi, dan angka di atas kertas melebih-lebihkan hasil sebenarnya. Meski begitu, arah dan kecepatannya yang penting bagi siapa pun yang menyusun anggaran compute multitahun.

Kenapa ini penting

Kalau kamu menganggarkan training atau inference untuk beberapa tahun ke depan, ini memberi patokan yang bisa dipertahankan: asumsikan hardware yang kamu beli biayanya per unit compute kira-kira separuh tiap 1,7 tahun, dan curigai rencana yang mengandalkan penurunan jauh lebih cepat atau jauh lebih lambat.