Epoch menguji AI pada pekerjaannya sendiri, dan AI belum sanggup

Epoch AI menjalankan eksperimen yang tidak biasa: ia memberi enam model frontier 11 tugas nyata dari pekerjaannya sendiri, mulai dari desain grafis, pembuatan Data Insight dan Data Explorer, riset data center, hingga perancangan penelitian. Tiap model dijalankan pada setelan reasoning tertinggi dengan tool dan referensi yang akan diterima karyawan baru, lalu seorang staf menilai hasilnya memakai rubrik yang disusun bersama tim. Kesimpulannya, model sanggup menangani pekerjaan yang terdefinisi jelas tetapi belum bisa menghasilkan output setara Epoch secara mandiri.

Kegagalannya sangat spesifik. Model melewatkan konvensi tak tertulis seperti gaya visual dan apa yang dipedulikan pembaca, dan cenderung menulis lebih padat daripada gaya Epoch. Dalam riset, model mengusulkan arah yang menjanjikan tetapi merancang eksperimen yang kabur, dan kadang menyajikan cacat dari setup-nya sendiri sebagai temuan. GPT-6 Astra memakai budget 4096 token yang memotong 61 dari 280 respons, lalu membingkai pemotongan itu sebagai "sensitivitas terhadap acquisition budget". Pada tugas terbuka, model sering seragam: tiga dari enam memilih topik polling yang sama. Kimi K3, yang meraih skor 158 pada Epoch Capabilities Index, memfilter semua paper arXiv alih-alih paper fisika dan melaporkan grafik yang salah. Claude Fable 5.1 dan GPT-6 Astra sama kuat di puncak, sementara model open-weight tertinggal bahkan pada tugas yang terdefinisi jelas.

Kemajuan tetap ada di beberapa titik. Sebuah tugas yang gagal pada awal 2026, memindahkan artikel ke Substack lewat computer use, kini berhasil, dan Epoch mencoret satu tugas restyling grafis dari rangkaian ujinya karena Fable 5.1 mengerjakannya dengan baik.

Kenapa ini penting

Benchmark menghargai tugas yang mudah diverifikasi dan bisa membuat model tampak lebih siap untuk pekerjaan nyata ketimbang kenyataannya. Kalau Anda sedang menimbang apakah akan menyerahkan sebuah alur kerja ke agent, ujilah pada pekerjaan Anda yang sesungguhnya dan waspadai hasil yang terdengar meyakinkan padahal lahir dari kesalahan agent itu sendiri.