Benchmark AI hanya mengukur sepotong kecil pekerjaan nyata

Tim riset Mercor memetakan 29 benchmark AI yang umum dipakai ke basis data pekerjaan ONET, dan celahnya ternyata besar. Dari 18.797 tugas di ONET, hanya 924 yang punya cakupan benchmark. Dari 923 jenis pekerjaan, cuma 208 yang setidaknya satu tugasnya diukur oleh lima prompt benchmark atau lebih, dan enam dari 22 rumpun pekerjaan sama sekali tak tersentuh. Setelah cakupan ini digabung dengan perkiraan pembagian waktu kerja, mereka menyimpulkan sekitar 90% jam kerja orang Amerika dihabiskan untuk tugas yang nyaris tak terwakili benchmark mana pun.

Cakupan yang ada pun timpang dan bisa ditebak arahnya. Tugas yang terpapar AI kira-kira enam kali lebih mungkin diukur ketimbang tugas yang tidak, jadi benchmark cenderung menguji model pada pekerjaan yang memang sudah diperkirakan bisa dikerjakannya. Bahkan setelah faktor paparan dikendalikan, pekerjaan dengan total upah lebih besar mendapat perhatian lebih: pengacara banyak diukur, sementara sekretaris hukum dan panitera pengadilan hampir tak ada. Tugas yang dinilai paling penting diukur 6 sampai 10 kali lebih sering dibanding yang dianggap paling tidak penting.

Tim Mercor menyebut hasil ini masih sementara, karena sampel 29 benchmark belum lengkap dan kemungkinan membuat cakupan terlihat lebih kecil dari sebenarnya. Rincian lengkap per pekerjaan bisa dibaca di laporan mereka.

Kenapa ini penting

Kalau Anda mengambil keputusan membeli atau membangun sistem AI berdasarkan skor benchmark, ingat bahwa skor itu hanya menggambarkan sepotong kecil pekerjaan nyata dan condong ke pekerjaan berupah tinggi. Untuk sebagian besar peran kelas menengah, nyaris tak ada bukti publik soal kemampuan model, jadi Anda harus mengujinya sendiri pada tugas Anda.