Astra ungguli manusia di satu metrik ARC-AGI yang tadinya diyakini aman

Tim ARC Prize menguji GPT-6 Astra pada ARC-AGI-3, benchmark game interaktif mereka, dan hasil yang menarik bukan skor puncaknya. Dengan harness standar, Astra mencapai 62,7% pada set semi-private; dengan harness "Provider Adapter", angkanya naik ke 99,9%. Yang justru disorot tim adalah efisiensi aksi, metrik yang mereka kira masih akan lama berada di sisi manusia.

Astra memakai aksi lebih sedikit dari baseline manusia pada 96,0% level, dan rata-rata 51,7% lebih sedikit aksi per level. Tim sebelumnya menduga bahwa meski sebuah model akhirnya bisa menyelesaikan game, ia akan menempuh jauh lebih banyak langkah dibanding manusia untuk sampai ke sana. Jarak itu tertutup. Model membangun notasi aljabar ringkas untuk melacak kondisi game, dan ketika diberi sandbox, ia menulis tool-nya sendiri, termasuk parser dan solver yang dirancang untuk game tertentu.

Biayanya bercerita sendiri. Setiap run menghabiskan $17K hingga $49K tergantung tingkat reasoning, dibanding sekitar $12,78 per game bagi penguji manusia. Anehnya, pengaturan reasoning yang lebih tinggi kadang lebih murah, karena model menuntaskan game dengan total aksi lebih sedikit. Tim tetap hati-hati: ini bukan bukti AGI, dan cakupan ARC-AGI-3 pun terbatas.

Kenapa ini penting

Bagi yang mengevaluasi agent, efisiensi aksi selama ini dipakai sebagai indikator murah bahwa "model tidak benar-benar paham tugasnya, hanya menerabas." Indikator itu kini kurang bisa diandalkan. Kamu perlu mengukur apakah agent mencapai tujuan dengan baik, bukan sekadar apakah ia berkeliaran untuk sampai ke sana.