Open ASR Leaderboard tambah data rahasia untuk lawan kecurangan benchmark

Open ASR Leaderboard, peringkat publik untuk model pengenalan suara, menambahkan sejumlah set uji privat agar lebih sulit dicurangi. Masalahnya klasik, persis yang dijelaskan Goodhart: begitu sebuah benchmark publik jadi target, sebuah model bisa naik peringkat dengan melatih diri pada data uji, mencari data yang mirip, atau menyetel untuk kasus sempit yang dicakup benchmark, sering kali bahasa Inggris Amerika yang dibaca dari naskah. Tidak satu pun dari itu berarti modelnya lebih baik di dunia nyata.

Solusinya berupa sebelas split privat dari dua vendor data, Appen dan DataoceanAI. Cakupannya meliputi aksen Amerika, Inggris, Australia, Kanada, dan India, baik ucapan terskrip maupun percakapan, dengan proporsi gender yang kurang lebih seimbang. Leaderboard hanya melaporkan angka agregat, seperti rata-rata word error rate serta rata-rata terpisah untuk terskrip, percakapan, US, dan non-US, dan sengaja tidak menampilkan skor per split supaya tidak ada yang bisa mengoptimalkan ke satu set tertentu. Data privat ini mati secara default dan ditampilkan sebagai "Rank Δ" yang bisa kamu aktifkan, yang menunjukkan seberapa besar posisi sebuah model bergantung pada set publik yang mungkin sudah pernah dilihatnya. Tulisan Hugging Face terus terang soal titik lemahnya. Seorang peneliti menyoroti bahwa vendor yang sama menjual data latih ke perusahaan ASR, jadi penyedia berkomitmen tidak menjual data evaluasi yang persis ini, dan dataset komunitas bisa ditambahkan lewat GitHub proyek.

Kenapa ini penting

Kalau kamu memilih model suara dari leaderboard, selisih antara skor publik dan skor privatnya adalah sinyal sebenarnya. Rank Δ yang besar berarti peringkat itu mengukur keakraban dengan data uji, bukan kualitas transkripsi.