Mengubah tolok ukur basis data menjadi sinyal reward reinforcement learning

Tolok ukur ThinkingBox dari Microsoft menilai agen AI dengan memeriksa basis data yang ditinggalkannya, bukan membaca pesan akhirnya. Dalam tulisan terbaru, timnya menunjukkan bahwa pemeriksaan otomatis yang sama bisa dipakai sebagai sinyal reward untuk reinforcement learning. Tiap episode training diberi nilai 1 kalau state akhir basis data benar dan 0 kalau salah, dengan sebagian kecil task memakai LLM judge untuk hal yang tidak bisa ditangkap basis data.

Bagian yang butuh kehati-hatian adalah memilih task untuk training. Sebuah task hanya sulit atau mudah secara relatif terhadap model saat ini, jadi tim menjalankan base model pada tiap kandidat berkali-kali, memperkirakan tingkat keberhasilannya, dan hanya menyimpan task yang berada di kisaran 8% sampai 90%. Task yang selalu gagal atau selalu lolos tidak memberi algoritma GRPO kontras untuk dipelajari, jadi dibuang, menyisakan 187 task tetap. Training memakai GRPO full-parameter pada model Qwen 27 miliar parameter selama 50 langkah di 24 GPU H100.

Hasilnya lebih condong ke konsistensi ketimbang cakupan. Rata-rata pass@1 naik dari 51,7% ke 60,8%, dan jumlah task yang diselesaikan model di seluruh 20 percobaan melonjak dari 38 ke 107. Task yang terselesaikan setidaknya sekali justru turun tipis, dari 453 ke 446, jadi model menjadi lebih konsisten, bukan lebih mampu. Indeks biaya internal untuk tiap task yang andal turun dari $24,36 ke $8,00.

Kenapa ini penting

Kalau kamu melakukan post-training pada agen, ini resep yang bisa ditiru: pemeriksaan state akhir yang deterministik sekaligus menjadi reward, dan mengukur tingkat kesulitan task sebelum training memberi tahu apakah datamu benar-benar bisa mengajari model.