Model suara pandai bicara, tapi buruk mendengarkan

Kebanyakan AI suara dinilai dari seberapa akurat ia mengubah ucapan jadi teks, padahal cara itu mengabaikan semua yang dibuang sebuah transkrip: nada, emosi, keraguan, siapa yang berbicara, dan kebisingan ruangan. Hume AI membangun Real World VoiceEQ untuk menguji lapisan itu. Benchmark ini mencakup lebih dari 40 model suara di empat kelompok kemampuan, yaitu pengenalan ucapan, text-to-speech, speech-to-speech, dan pemahaman ucapan, dengan lebih dari 60 metrik. Yang membedakannya adalah cara penilaiannya: lebih dari satu juta rating manusia dikumpulkan dari beragam aksen, demografi, dan kondisi akustik, termasuk 785.000 rating untuk text-to-speech dan 48.000 untuk speech-to-speech.

Ada dua temuan yang menonjol. Pertama, tidak ada model serba bisa. Tak satu model pun masuk lima besar di semua kelompok kemampuan, jadi sistem yang terdengar bagus bisa saja biasa saja dalam memahami, begitu pula sebaliknya. Kedua, dan lebih tajam, model jauh lebih kuat berbicara daripada mendengarkan. Mereka menghasilkan ucapan yang lancar dan terdengar alami, tapi kesulitan menangkap isyarat paralinguistik, pergeseran nada atau jeda, yang membawa makna yang tak pernah tercatat di transkrip. Hume juga melaporkan bahwa model speech-language otomatis punya kesepakatan yang rendah dengan penilai manusia untuk penilaian subjektif ini, dan itulah alasan mengumpulkan rating manusia sebanyak itu.

Kenapa ini penting

Kalau Anda membangun voice agent, angka yang biasa Anda pantau adalah akurasi transkripsi, dan VoiceEQ menunjukkan itu melewatkan separuh persoalan tempat produk benar-benar terasa rusak. Model yang tak bisa membedakan pelanggan yang kesal dari yang tenang akan salah merespons betapapun bersih suaranya, jadi ujilah sisi mendengarkan, bukan hanya sisi berbicara, sebelum Anda merilis.