Keunggulan sesungguhnya Nvidia bergeser dari GPU ke seluruh sistem

Selama bertahun-tahun, argumen soal Nvidia terdengar sederhana: chip AI-nya paling cepat, dan pesaing masih mengejar. Sebuah artikel TechCrunch menilai sisi yang lebih menarik dari generasi baru Vera Rubin justru ada di sekeliling GPU. Nvidia mengirim satu paket komponen di sekitarnya, termasuk Vera CPU untuk mengatur aliran data, ditambah bagian storage dan networking. Jason Hardy, VP teknologi storage Nvidia, menyebut Vera CPU memberi peningkatan hingga 3x pada sejumlah operasi, terutama karena data sampai ke GPU lebih efisien, bukan karena GPU-nya sendiri dibuat lebih cepat.

Skala adalah alasan hal ini penting. Pada klaster berukuran gigawatt, masalah tersulit bukan lagi compute mentah, melainkan menggerakkan data melintasi sistem tanpa membuat prosesor menganggur. Ini persoalan sistem, dan jauh lebih sulit ditiru ketimbang satu chip. Pesaing menyerang hambatan yang sama dari arah lain: chip inference Jalapeño milik OpenAI dirancang untuk memangkas pergerakan data dan jeda komunikasi. Jika kompetisi kini soal siapa paling piawai mengorkestrasi seluruh data center, keunggulan Nvidia tampak lebih luas dan lebih lengket daripada sekadar unggul benchmark pada satu komponen.

Kenapa ini penting

Bagi yang merencanakan pembelian compute atau deployment model, membandingkan vendor hanya lewat FLOPS GPU makin menyesatkan. Hambatan pada skala besar adalah pergerakan data di seluruh sistem, jadi tanyakan bagaimana sebuah platform menangani networking, storage, dan orkestrasi CPU secara bersamaan, karena di situlah biaya dan throughput nyata makin ditentukan.