Bisakah Scaling AI Berlanjut Sampai 2030?

Epoch AI mengajukan pertanyaan konkret: bisakah pertumbuhan compute training yang kira-kira 4x per tahun terus berlanjut sampai 2030, mengingat batas fisik. Mereka memeriksa empat kendala: daya listrik, manufaktur chip AI, data training, dan latensi. Jawaban mereka, training sekitar 2x10^29 FLOP kemungkinan layak pada 2030, lompatan atas hari ini yang sebanding dengan jarak GPT-2 ke GPT-4. Estimasi pendukungnya spesifik. Satu kampus data center pada 1 sampai 5 GW bisa menopang 10^28 sampai 3x10^29 FLOP; jaringan yang tersebar geografis pada 2 sampai 45 GW mendorong lebih tinggi. Mereka memperkirakan sekitar 100 juta GPU setara H100 bisa diproduksi untuk AI pada 2030, dengan rentang lebar, dan 400 triliun sampai 20 kuadriliun token training tersedia begitu data multimodal dihitung. Kendala yang mengikat adalah daya, disusul manufaktur chip, sedangkan latensi paling tidak mendesak. Bingkainya penting: ini soal apa yang mungkin secara fisik, bukan apa yang akan dipilih dibelanjakan sebuah lab.

Kenapa ini penting

Kebanyakan argumen belakangan soal data center, energi, dan capex AI memakai ini sebagai dasarnya, jadi lebih baik baca aslinya ketimbang versi tangan kedua. Inti untuk perencanaan: daya, bukan data atau uang, tembok yang kamu tabrak lebih dulu.