Bukti matematika OpenAI belum memenuhi standar para matematikawan

OpenAI merilis ratusan klaim solusi untuk soal matematika sulit, totalnya 719 manuskrip, dan menyatakan sudah berkonsultasi lebih dulu dengan sebuah kelompok penasihat agar tidak mengulang kontroversi yang muncul setelah model sebelumnya mengerjakan sebuah soal terkenal. TechCrunch melaporkan rilis itu tetap belum memenuhi apa yang diminta kelompok tersebut.

Advisory Group on Mathematics and Artificial Intelligence, yang bernaung di Institute for Advanced Study Princeton, menerbitkan pedoman pada akhir September. Salah satu anjurannya adalah berhenti menguji matematika tingkat lanjut pada model proprietary, padahal OpenAI justru mengevaluasi model proprietary-nya pada soal terbuka. Kelompok itu juga meminta metadata yang bisa dibaca mesin untuk menghubungkan setiap bukti berbahasa alami dengan versi formalnya, dan OpenAI tidak menyediakannya. Hanya 10 dari 719 manuskrip yang disertai jejak chain-of-thought. Para matematikawan di Cambridge dan King's College London menemukan setidaknya dua ketidakcocokan antara bukti berbahasa alami OpenAI dan kode Lean-nya untuk soal yang diturunkan dari persamaan Navier-Stokes. Ketidakcocokan itu tidak otomatis menggugurkan solusinya, tetapi menimbulkan keraguan terhadap model yang memformalkan buktinya sendiri tanpa keterlibatan manusia.

Keberatan yang lebih tajam menyangkut pemahaman, bukan kebenaran. Terence Tao mengkritik cara memecahkan soal oleh orang yang kehilangan minat begitu sesuatu "selesai" dan tidak mampu membahas hasilnya dengan komunitas. Melanie Wood, matematikawan Harvard, menyatakannya terang-terangan: saat dirilis, belum ada pemahaman manusia atas solusi-solusi ini, dan "pekerjaan baru dimulai sekarang."

Kenapa ini penting

Kalau Anda tergoda menganggap bukti sebuah model sudah final karena ia bisa dikompilasi atau enak dibaca, ketidakcocokan di kode Lean itu adalah peringatan. Sebuah hasil baru layak dipercaya setelah seorang matematikawan memahaminya, dan untuk 719 manuskrip ini pekerjaan itu baru saja dimulai.