DeepMind uji model frontier tanpa satu pihak pun bisa mengintip

Evaluasi model oleh pihak luar selalu memaksa pilihan yang canggung. Entah penguji menyerahkan soal ujiannya, yang berisiko membuat pemilik model melihatnya lebih dulu dan menggelembungkan skor, atau pemilik menyerahkan bobot modelnya, yang berisiko kehilangan kekayaan intelektual berharga. Google DeepMind menyatakan telah menjalankan evaluasi double-blind pertama atas model frontier proprietary yang menghindari keduanya. Soal ujian tetap tersembunyi dari Google, bobot model tetap tersembunyi dari penguji, dan masing-masing pihak mendapat bukti kriptografis bahwa datanya tetap rahasia.

Mekanismenya adalah Confidential Space dari Google Cloud, yang membangun enclave berbasis perangkat keras di sekeliling GPU tempat evaluasi berjalan. Tidak ada pihak yang bisa membaca input pihak lain, dan alur tujuh langkah memindahkan data antara pemilik model dan penguji tanpa salah satunya bisa mengakses rahasia yang lain. Uji coba ini menjalankan model Gemini Flash Lite melawan benchmark rahasia, dengan mitra seperti Singapore AI Safety Institute, OpenMined, AVERI, dan MLCommons. Seperti dinyatakan DeepMind, kalau sebuah model bisa mengintip soal lebih dulu, skornya jadi tak bermakna, dan kepercayaan itu paling penting untuk area sensitif seperti keamanan siber dan penggunaan pemerintah.

Kenapa ini penting

Kalau kamu mengandalkan angka benchmark dari pihak ketiga untuk menilai sebuah model, kontaminasi adalah kegagalan diam-diam yang membuat angka itu berbohong. Skema yang secara terbukti membuat lab tak bisa melihat soal memberi bobot nyata pada skor tersebut, sekaligus memungkinkan lembaga keselamatan menguji model tertutup tanpa harus meminta bobotnya.