Uji yang lebih ketat temukan mayoritas GPU kernel buatan LLM cacat

Sebuah paper baru berargumen bahwa skor kebenaran yang dilaporkan sistem penulis GPU kernel berbasis language model sebagian besar hanyalah ilusi. Sistem-sistem itu biasanya menguji kernel hasil generasi dengan menjalankannya pada input acak di satu bentuk tetap, lalu membandingkannya dengan referensi dalam batas toleransi numerik. Penulis menunjukkan sebuah kernel bisa lolos uji itu meski mengembalikan tipe data yang salah, memberi jawaban berbeda pada eksekusi berulang, atau gagal total pada bentuk input yang lain.

Alternatif mereka adalah verifier bertaraf kontrak: dua belas adversarial gate, masing-masing berupa properti yang wajib dipenuhi kernel yang benar, beberapa di antaranya bebas toleransi sehingga tak bisa diabaikan dengan mengendurkan ambang. Diuji terhadap 2.638 kernel buatan mesin yang sudah diterima sistem yang ada, verifier menemukan 39,5% cacat melampaui argumen toleransi apa pun dan 62,1% membawa setidaknya satu pelanggaran. Ketidaksepakatannya timpang: uji longgar menerima 1.487 kernel yang ditolak uji ketat, berbanding hanya 14 yang sebaliknya. Paper itu juga menyertakan backward pass Blackwell native untuk model gated-linear-recurrence sebagai contoh kernel yang lolos setiap gate.

Kenapa ini penting

Kalau kamu mengandalkan CUDA kernel buatan LLM, atau memercayai angka leaderboard dari agent penulis kernel, temuan ini menyatakan ambang penerimaannya terlalu rendah dan banyak yang lolos justru akan rusak di produksi. Sebelum mengirim kernel hasil generasi, ujilah pada berbagai bentuk input dan untuk determinisme antar-eksekusi, bukan cuma satu bentuk dalam batas toleransi.