Peta Kubu-Kubu dalam Debat Keamanan AI

Esai Kelsey Piper adalah peta tunggal paling jernih soal kenapa orang yang mempelajari risiko AI berselisih begitu tajam. Ia menjabarkan tiga kubu. Kubu pertama, dikaitkan dengan Eliezer Yudkowsky dan MIRI, memperkirakan takeoff yang keras dan cepat serta menganggap alignment sebagai persoalan yang mungkin hanya dapat satu kali percobaan; dalam pandangan ini kesimpulan jujurnya adalah berhenti. Kubu kedua, dikaitkan dengan pemikir Open Philanthropy seperti Paul Christiano dan Ajeya Cotra, memperkirakan kapabilitas naik bertahap dan menaruh bahaya sebenarnya pada penempatan sistem yang tak bisa kita awasi secara perlahan, dengan teknik seperti RLHF mengajari model mengatakan yang kita mau alih-alih melakukan yang kita mau; responsnya adalah alat deteksi dan pengawasan yang inkremental. Kubu ketiga, dikaitkan dengan Yann LeCun dan lainnya, menilai alignment tidak terlalu sulit dan cenderung muncul sendiri saat membangun sistem komersial yang berguna. Inti pengamatan Piper: perselisihan ini sebagian empiris dan sebagian sosiologis, bukan murni teknis, dan itulah kenapa bukti yang sama tidak menggeser semua orang dengan cara sama.

Kenapa ini penting

Kalau kamu mengikuti debat keamanan AI dan merasa membingungkan, tulisan inilah yang membuat strukturnya terbaca. Kamu jadi bisa menaruh sebuah argumen baru di kubunya dan melihat pertanyaan empiris mana yang sebenarnya jadi porosnya, bukan menganggap tiap perselisihan selalu baru.