Benchmark fisika ternyata meremehkan kemampuan model

Sebuah paper baru berargumen bahwa model frontier jauh lebih mahir dalam fisika daripada yang ditunjukkan skor benchmark, dan kesalahannya ada pada benchmark itu sendiri. Para penulis mengaudit enam tes fisika yang banyak dipakai, termasuk HLE-Physics, CMT-Benchmark, dan PHYBench, lalu meminta pakar fisika meninjau kasus-kasus yang katanya dijawab salah oleh model. Sebagian besar jawaban yang dianggap salah itu ternyata benar, dan yang keliru adalah cara penilaiannya, bukan penalaran model.

Setelah butir-butir yang cacat dikoreksi, skornya melonjak. GPT-5.6-Sol naik dari 47,3% menjadi 78,7% di HLE-Physics dan dari 61,0% menjadi 87,2% di CMT-Benchmark, serta mencapai 94,4% pass@4 pada soal CritPt yang tersisa. Para penulis membaca ini sebagai kondisi mendekati jenuh pada soal fisika bertipe tertutup, artinya ruang perbaikan yang tersisa pada tes ini lebih banyak berupa kesalahan penilaian ketimbang kegagalan model yang sesungguhnya.

Implikasi yang tidak nyaman menyangkut kepercayaan pada proses evaluasi itu sendiri. Jika tinjauan pakar bisa menggeser skor utama lebih dari tiga puluh poin, banyak klaim yang terbit bahwa "model kesulitan pada X" mungkin sebenarnya mengukur kunci jawaban yang buruk, bukan model yang buruk. Paper ini menegaskan bahwa benchmark teknis yang sulit kini butuh validasi pakar atas kebenaran jawabannya, bukan sekadar menambah jumlah soal.

Kenapa ini penting

Kalau Anda mengambil keputusan dari angka benchmark, ini peringatan langsung: skor rendah bisa berarti tes yang rusak, sama mungkinnya dengan model yang lemah. Pada bidang yang sudah mendekati jenuh seperti fisika, skor yang Anda percaya sebaiknya disertai audit soal bagaimana jawabannya dinilai.