Nathan Lambert ramal kemajuan AI yang cepat tanpa lompatan ke superintelligence

Nathan Lambert menilai beberapa tahun ke depan AI akan bergerak cepat, tapi tidak misterius. Dalam esai terbarunya ia berargumen percepatan itu terutama berasal dari mengotomatiskan kerja engineering, sementara modelnya sendiri tidak berubah jadi jenis makhluk yang berbeda. Coding agent membuat eksperimen murah dijalankan, dan itu menggeser kembali titik sempit ke ranah riset: ketika eksekusi gampang, ide bagus jadi lebih berharga daripada implementasi yang bagus. Ia lebih suka menyebutnya "parallelized, AI-assisted language modeling" ketimbang recursive self-improvement, karena istilah terakhir menyelipkan asumsi takeoff yang tidak ia percaya.

Versi konkret dari klaimnya: model akan menjadi "distributed GPU engineer" yang melampaui manusia. Kecepatan training dan biaya inference adalah target yang sangat terukur, seperti token per detik per GPU, biaya per jawaban, dan FLOPs per token. Karena metrik itu mudah diukur, agent bisa mengoptimalkannya dari hulu ke hilir, dan Lambert memperkirakan biaya efektif kecerdasan akan terus turun hampir secara eksponensial, bisa jadi lebih cepat dari tren belakangan ini. Merancang chip dan model secara bersamaan dalam rentang waktu lebih panjang bisa menambah efisiensi berlipat-lipat. Ia menaruh otomatisasi riset pretraining, yakni pilihan arsitektur dan data, pada kisaran dua sampai tiga tahun lagi.

Yang ia hindari adalah mengklaim lompatan ke superintelligence umum. Kemajuan di sains, katanya, mungkin memunculkan kaitan antarbidang yang berguna di biologi dan kimia, tapi apakah itu menyembuhkan sebagian besar kanker atau sekadar mempercepat tren yang sudah ada, ia sendiri belum yakin. Permintaan terhadap agent akan melonjak, dan bagian tersulitnya justru mengarahkan serta mengirimkan agent itu, bukan soal kapasitas mentahnya. Argumen lengkapnya bisa dibaca di Interconnects.

Kenapa ini penting

Buat kamu yang menyusun rencana seputar AI, kerangka Lambert menyarankan bertaruh pada inference yang jauh lebih murah dan otomatisasi engineering yang masif, sambil tetap skeptis terhadap janji satu model yang tiba-tiba jadi superhuman di segala hal.