Microsoft ASSERT mengubah spek perilaku berbahasa biasa menjadi tes AI

Microsoft merilis ASSERT, framework open source yang mengubah deskripsi tertulis tentang bagaimana sebuah sistem AI seharusnya berperilaku menjadi serangkaian tes berskor untuk sistem itu. Nama lengkapnya Adaptive Spec-driven Scoring for Evaluation and Regression Testing. Idenya adalah menjembatani jurang antara benchmark umum semacam MMLU dan pertanyaan yang sebenarnya ingin dijawab oleh tim. Apakah agent spesifik ini mengikuti aturan spesifik kami, dan apakah ia tetap mengikutinya setelah prompt berikutnya diubah? Kamu memberi ASSERT beberapa kalimat soal niatmu, lalu ia mengonversi itu menjadi daftar terstruktur berisi perilaku yang dapat diterima dan tidak, membuat skenarionya, menjalankannya pada model, dan memberi skor sambil mencatat jejak penalaran dan tool call. Dengan begitu, kegagalan bisa dilacak balik.

Contoh dari Microsoft cukup konkret. Untuk agent riset dokumen internal, tim bisa menuliskan "tidak boleh mengirim email ke orang di luar perusahaan" dan "informasi confidential hanya boleh dibagikan ke level C", lalu ASSERT membuat tes yang menguji kedua aturan itu lewat alur kerja yang masuk akal. Sarah Bird, chief product officer Responsible AI Microsoft, mengangkat poin di baliknya secara lugas. Organisasi harus mengevaluasi dimensi yang spesifik aplikasinya, bukan sekadar apa yang dihitung leaderboard. Framework ini dirilis sebagai open source, bukan dimasukkan ke produk berbayar, yang memberi sinyal bahwa Microsoft mengantisipasi sebagian besar pengguna akan menjalankannya pada model yang bukan mereka latih sendiri.

Kenapa ini penting

Kalau kamu menempelkan fitur AI di dalam produk lain, masalah kronisnya adalah baru ketahuan ada aturan yang dilanggar setelah ada pengguna yang melapor, dan suite regresi berisi perilaku berbahasa natural menutup celah itu tanpa harus menulis tes prompt injection yang rapuh secara manual. Pertukarannya: tes-nya dibangkitkan oleh ASSERT, jadi ia ikut mewarisi titik buta model; gunakan sebagai baseline yang berguna, bukan satu-satunya pemeriksaan.