Benchmark 68 soal Erdős tak terpecahkan yang sulit diakali model

Epoch AI membuat benchmark matematika yang sulit diakali. FrontierMath Erdős berisi 68 soal yang benar-benar belum terpecahkan, awalnya diajukan Paul Erdős, dipilih matematikawan Thomas Bloom dari 652 soal terbuka dan diformalkan di proof assistant Lean. Karena jawabannya diperiksa Lean, bukan penilai manusia, model tak bisa mengarang untuk lolos: setiap bukti yang ditulisnya diverifikasi secara programatik, jadi argumen yang salah atau asal-asalan langsung gugur. Bloom memilih kira-kira sepersepuluh soal tersulit dan terpenting, dan 18 dari 68 soal baru diformalkan untuk proyek ini melengkapi 50 soal dari proyek Formal Conjectures milik Google.

Hasilnya cukup mengerem euforia. Dengan anggaran resmi 300 dolar dan 72 jam per soal, hanya GPT-6 Astra yang berhasil memecahkan sesuatu, dan itu pun dua dari 68 soal, sekitar 3%. Ia membantah satu soal seharga 218 dolar dalam 15 jam dan membuktikan soal lain seharga 247 dolar dalam 16 jam. GPT-5.6 Sol, GPT-5.5, Claude Fable 5.1, dan Claude Fable 5 semuanya nol. Ketika Epoch mencabut batas anggaran dan membiarkan Astra berjalan lebih jauh, ia mencapai lima soal terpecahkan, tetapi menghabiskan lebih dari 220.000 dolar biaya compute. Pengumuman lengkapnya ada di situs Epoch.

Kenapa ini penting

Kalau kamu mau menilai apakah AI sanggup melakukan riset matematika sungguhan, angka ini sulit dimanipulasi: model terbaik saat ini memecahkan sekitar 3% soal terbuka pilihan, dan hanya dengan biaya besar. Ini patokan yang jujur untuk menimbang klaim-klaim keras soal AI menaklukkan matematika besar.