Argumen Dario Amodei untuk memperlambat laju AI

Dario Amodei, CEO Anthropic, menerbitkan esai panjang yang menyerukan agar industri sengaja memperlambat kecepatan peningkatan kemampuan model AI. Istilah yang ia pakai adalah "pacing the frontier". Maksudnya bukan menghentikan kemajuan, melainkan menjaga laju peningkatan kemampuan tetap cukup lambat sehingga pekerjaan soal keamanan, pengujian, dan riset alignment bisa mengikuti. Ia menyebutnya sebagai "race to the top", bukan perlombaan untuk buru-buru merilis. Sejumlah insiden misalignment belakangan ini ia jadikan bukti bahwa laju sekarang sudah melampaui kemampuan kita mengendalikan sistem-sistem ini.

Esai itu disusun dalam tiga langkah. Pertama, Anthropic berkomitmen menerima embedded evaluator: pihak luar yang diberi akses setara karyawan untuk memeriksa apakah perusahaan menepati janji keamanannya, lalu menerbitkan temuan mereka secara independen. Kedua, Amodei ingin perusahaan-perusahaan frontier di negara demokrasi menyepakati standar keamanan bersama, bisa lewat regulasi, dengan laju yang dikaitkan pada kemampuan model atau jumlah compute yang dipakai. Ketiga, ia berpendapat pemerintah negara demokrasi perlu mengupayakan kesepakatan dengan pemerintah otoriter, mulai dari melarang penggunaan paling berbahaya sampai membatasi laju recursive self-improvement, sambil tetap menjaga keunggulan teknologi. Satu peringatan konkret menonjol: dalam enam sampai dua belas bulan, kawanan AI yang misaligned seperti yang ada di balik insiden OpenAI dan Hugging Face bisa menjalankan botnet berskala internet dengan kerugian ratusan miliar dolar. Laju yang lebih lambat, katanya, akan memberi ruang satu sampai dua tahun kemajuan nyata pada interpretability dan pengujian.

Kenapa ini penting

Bagi yang membangun atau men-deploy model frontier, komitmen embedded evaluator adalah janji spesifik yang bisa ditagih ke Anthropic, dan timeline botnet itu risiko jangka pendek yang layak diantisipasi sekarang. Bagi yang mengikuti kebijakan AI, ini usulan paling jelas sejauh ini dari lab besar tentang bagaimana batas kemampuan bisa benar-benar ditetapkan dan ditegakkan.