DeepMind uji model frontier lewat benchmark double-blind

Angka benchmark menyimpan masalah yang jarang terlihat: kalau sebuah model sudah pernah melihat soal ujinya saat training, skornya jadi menggembung dan tak lagi banyak berarti. Solusi lazimnya, menyimpan test set secara privat, memaksa sebuah dilema, karena evaluator ingin merahasiakan soal sementara lab ingin merahasiakan weights, dan salah satu pihak harus mengalah. Google DeepMind menyatakan mereka menjalankan evaluasi double-blind pertama untuk model frontier proprietary demi menghapus dilema itu. Memakai Confidential Computing dari Google Cloud, tepatnya Confidential Space, mereka membangun lingkungan terisolasi di mana evaluator tak bisa membaca weights model dan Google tak bisa membaca prompt uji. Alur tujuh langkah memverifikasi secara kriptografis bahwa kedua pihak tetap buta.

Pilot ini berjalan di Gemini Flash Lite, dengan Singapore AI Safety Institute, OpenMined, AVERI, dan MLCommons ikut serta. Yang perlu dicatat, tulisan itu tidak memublikasikan skor apa pun. Yang dilaporkan adalah metodenya sendiri, yaitu cara bagi pihak luar menguji model tertutup dengan soal yang tak pernah dilihat lab, sehingga kontaminasi tak lagi jadi jalan mudah untuk mengakali benchmark.

Kenapa ini penting

Kalau kamu memilih model berdasarkan skor benchmark, kontaminasi adalah alasan nyata angka itu bisa menyesatkan. Skema ini membuka jalan bagi evaluator independen untuk menguji model tertutup tanpa lab melihat soalnya dan tanpa evaluator melihat weights-nya. Jika pendekatannya meluas, skor yang dipublikasikan makin sulit digelembungkan, dan hasil dari pihak ketiga jadi lebih bernilai.