Melatih model menolak niat jahat tanpa memblokir pertanyaan wajar

Kebanyakan filter keamanan bekerja pada level satu topik penuh: blokir politik, blokir apa pun yang terlihat soal senjata, dan seterusnya. Tim dari Multiverse Computing menilai satuan itu keliru. Dalam satu topik ada pertanyaan tak berbahaya sekaligus yang benar-benar berbahaya, dan penjaga level topik tak bisa membedakannya, sehingga ia membiarkan permintaan buruk lolos atau justru menolak yang aman. Solusi yang mereka usulkan adalah metode latih bernama boundary-aware self-distillation, yang mengajari model menolak hanya bagian berbahaya sambil tetap menjawab pertanyaan wajar di bidang yang sama.

Angkanya menjelaskan kenapa batas ini penting. Melatih Qwen3-8B menolak konten politik berbahaya menaikkan tingkat penolakan politiknya dari 9,47% ke 84,75% dan menekan respons berbahaya di berbagai benchmark dari 26,26% ke 0,14%. Namun latihan yang sama membuat model jadi terlalu waspada: over-refusal pada set prompt aman XSTest melonjak ke 74%, artinya ia mulai menolak pertanyaan biasa. Untuk memperbaikinya mereka menambahkan 11.955 prompt yang tampak berbahaya tapi sebenarnya aman di 18 tipe semantik, plus 1.539 pasangan uji yang hanya berbeda pada niat, satu berbahaya dan satu aman. Langkah itu menurunkan over-refusal dari 32,94% ke 4,16% tanpa banyak mengurangi kemauan model menolak sisi berbahaya. Satu detail kecil yang layak ditiru: alih-alih membuang contoh penolakan yang gagal, mereka mengambil ulang sampelnya dengan steering yang makin kuat, dan cara ini memangkas kegagalan dari 19,88% ke 0,20%. Uraian lengkapnya ada di Hugging Face.

Kenapa ini penting

Kalau kamu men-fine-tune model demi keamanan, temuan ini memberi angka untuk jebakan yang mungkin sudah kamu alami: menaikkan penolakan juga membuat model menolak pengguna yang sah. Resep boundary-pair memberi cara konkret mengukur dan memulihkan presisi yang hilang sebelum sampai ke pengguna produkmu.