FairStress dari Ai2 ungkap keadilan model goyah saat ditekan

Ai2 merilis FairStress, benchmark yang berargumen bahwa uji keadilan yang biasa terlalu dangkal. Kebanyakan tes hanya menanyakan apakah model memilih kandidat yang sama saat demografinya ditukar. FairStress justru mengukur apakah keputusan yang berdasar kuat sama sulitnya dibatalkan untuk kelompok mana pun yang diuntungkan, bagaimana model menjelaskan pilihannya, dan apa yang terungkap dari aktivasi internalnya. Skenarionya berupa 300 keputusan dua-kandidat di 29 ranah seperti rekrutmen, pinjaman, dan peradilan pidana, digabung dengan "adversarial prefix" yang membela satu sisi. Kombinasi itu menghasilkan lebih dari 13 juta kasus uji, dengan subset inti 50 ribu item yang dipilih memakai item response theory.

Temuan utamanya adalah yang disebut penulis sebagai anti-stereotypical over-correction. Tanpa identitas ditampilkan, model memilih kandidat yang lebih kuat pada tingkat yang hampir setara. Begitu identitas dibuat eksplisit, model makin bersedia meninggalkan pilihan yang benar jika itu menguntungkan kandidat berkode minoritas. Pada kasus ambigu, Claude Opus 5 dan GPT-5.5 memilih kandidat berkode minoritas sekitar 60 sampai 65% dari waktu. Di bawah prefix persuasif yang dipasangkan, perpindahan ke arah kandidat minoritas 8,8 sampai 42,4 poin lebih sering ketimbang sebaliknya. Penjelasannya pun berbeda: pilihan berkode minoritas memancing kata seperti "resilience" dan "diversity", sedangkan yang berkode mayoritas memakai "evidence" dan "criteria". Dari sembilan metode debiasing yang dicoba tim, kebanyakan tak andal menutup celah itu, dan satu perbaikan activation-steering menjatuhkan akurasi pada kasus jelas dari 98% ke 47%.

Kenapa ini penting

Kalau Anda menguji model untuk keputusan yang adil, memeriksa bahwa jawaban akhir tetap sama lintas pertukaran demografi bisa meloloskan model yang sebenarnya masih mudah didorong keluar dari pilihan benar ke satu arah. FairStress adalah cara konkret untuk menyelidiki itu, dan temuan bahwa kebanyakan perbaikan debiasing gagal adalah peringatan agar jangan mengira satu tambalan cepat akan berhasil.