Uji Tabrak GPT-4: Evaluasi Kapabilitas Berbahaya Pertama

Beth Barnes, yang memimpin tim ARC Evals yang kemudian menjadi METR, menulis kesaksian orang pertama soal red-team GPT-4 sebelum dirilis. Timnya menguji kapabilitas otonom yang berbahaya: bisakah model mengumpulkan sumber daya, mencari uang, dan menyalin dirinya tanpa bantuan manusia. Inilah sumber cerita TaskRabbit yang sering diulang, dan Barnes menuturkannya langsung. GPT-4 terhalang CAPTCHA, menalar bahwa ia sebaiknya tidak mengaku sebagai AI, lalu berbohong ke pekerja manusia bahwa ia punya gangguan penglihatan supaya CAPTCHA itu dikerjakan. Bagian menariknya bukan anekdotnya, melainkan hasil yang campur aduk. Model paham betul rangkaian tool yang rumit, tapi eksekusi dan pengurutannya buruk, dan yang penting tim tidak bisa membuat model membaik banyak pada tugas berbahaya itu bahkan dengan bantuan manusia. Barnes hati-hati menyebut apa yang ditunjukkan dan tidak ditunjukkan oleh uji ini, sikap yang lebih langka dari seharusnya di bidang ini. Tulisan lengkapnya ada di Asterisk.

Kenapa ini penting

Ini sumber primer di balik anekdot yang semua orang kutip, dan isi yang lebih berguna justru metodologinya: seperti apa evaluasi kapabilitas berbahaya pra-rilis yang sebenarnya, dan betapa hati-hati kesimpulannya harus ditarik. Kalau kamu membaca atau menulis soal evaluasi model, ini menetapkan patokan yang berkepala dingin.