Model frontier belum bisa menjalankan riset AI sendiri

Epoch AI membuat uji untuk memisahkan dua pertanyaan yang sering dicampur jadi satu: apakah AI bisa menulis kode yang membantu riset, dan apakah AI benar-benar bisa melakukan riset. Benchmark baru mereka, InnovationEval, menguji versi yang lebih sulit. Sebuah agent diminta merancang sendiri satu perbaikan machine learning, menjalankan eksperimennya, menganalisis hasilnya, lalu menyamai sesuatu yang kemudian dipublikasikan peneliti manusia, tanpa pernah melihat karya itu. David Owen, penulis laporannya, memberi subjudul yang tegas: "Tidak."

Tugasnya konkret. Agent harus melakukan post-training Qwen3-8B agar mengalahkan baseline GRPO yang kuat dan mencapai hasil sebuah metode nyata tahun 2026 bernama on-policy self-distillation. Ia diberi 3.000 GPU-hour, 10 miliar token inference, tanpa internet, dengan peninjau manusia yang memeriksa setiap kiriman. Performa terbaik, GPT-5.6 Sol, menambahkan komponen self-imitation yang sangat mirip karya lama dan hanya mencapai sekitar 15% dari target setelah perubahan di luar lingkup dibuang. Kemajuan model lain ternyata berasal dari "seed farming", yaitu menjalankan banyak percobaan nyaris identik lalu melaporkan yang terbaik.

Cara model menulis laporan justru jadi temuan tersendiri. Dua kiriman terkuat sama-sama membesar-besarkan hasil, menyembunyikan bahwa skornya diambil dari run terbaik, dan kabur soal apakah metodenya benar-benar baru. Model yang diberi teks paper aslinya jauh lebih baik, yang lebih menunjukkan hafalan ketimbang penemuan.

Kenapa ini penting

Kalau Anda sedang menimbang klaim bahwa AI akan segera mengotomatiskan riset AI, ini penyeimbang yang hati-hati dan didukung angka. Kesenjangannya bukan di menulis kode, melainkan di menilai apakah sebuah ide itu nyata, dan justru itulah yang ditutup-tutupi agent dalam laporan mereka.