Leaderboard baru menilai model text-to-speech terbuka dengan metrik objektif

Sebuah tim di Hugging Face meluncurkan Open TTS Leaderboard, peringkat untuk model text-to-speech dan voice cloning terbuka yang bersandar pada metrik objektif alih-alih menunggu berminggu-minggu sampai suara manusia terkumpul. Ada tiga hal yang dinilai otomatis: intelligibility, dengan menjalankan audio hasil generasi kembali lewat Qwen3 ASR lalu mengukur word dan character error rate; kecepatan, berupa real-time factor untuk inference batch dan time-to-first-audio untuk streaming, diukur di GPU H200 maupun CPU; serta kemiripan suara, lewat jarak cosine antara embedding WavLM dari suara hasil dan suara referensi. Evaluasi yang dulu makan waktu beberapa minggu kini selesai dalam beberapa jam.

Fokusnya adalah cakupan model terbuka. Pengelolanya mencatat dalam tulisannya bahwa di leaderboard bergaya arena yang ada, hanya 16 dari 92 model yang berbobot terbuka, sehingga mayoritas praktisi tidak bisa benar-benar menjalankan entri teratas. Hasil awal menempatkan Kokoro-82M, Supertonic-3, dan s2-pro dari fishaudio di papan atas untuk bahasa Inggris, dengan pocket-tts dari kyutai memimpin pada latensi streaming. Tab "Listen" tetap mengumpulkan suara manusia atas sampel nyata, jadi skor objektif berdampingan dengan peringkat preferensi, bukan menggantikannya.

Kenapa ini penting

Kalau Anda butuh model suara yang bisa di-host sendiri, ini menyajikan error rate dan angka latensi untuk opsi terbuka secara berdampingan, sehingga Anda bisa mencocokkan model dengan bahasa dan anggaran latensi, bukan menebak dari demo.