Studi Stanford: satu alat rekrutmen AI diam-diam menyaring pelamar kulit hitam dan Asia

Tim di Stanford HAI memeriksa 4 juta lamaran kerja dari 3,4 juta kandidat, mencakup 1.700 lowongan di 150 perusahaan dari 11 industri, semuanya disaring oleh model machine learning satu vendor pihak ketiga yang dominan. Dengan four-fifths rule dari EEOC sebagai uji, mereka menemukan 26 persen pelamar kulit hitam dan 15 persen pelamar Asia melamar ke posisi yang sistemnya mendiskriminasi kelompok ras mereka. Andai alat itu merekomendasikan kandidat secara setara, sekitar 40.000 lamaran lagi akan lolos ke tahap berikutnya.

Soal metodologi sama pentingnya dengan angka utama. Saat peneliti menggabungkan semua rekomendasi vendor jadi satu, biasnya hilang dari pandangan. Bias baru terlihat ketika tiap lowongan diperiksa sendiri-sendiri. Ini peringatan bagi siapa pun yang mengaudit sistem semacam ini lewat tingkat kelolosan agregat, sebab angka agregat bisa tampak bersih padahal posisi per posisi timpang. Studi ini juga mengangkat masalah kedua yang penulis sebut systemic rejection: karena begitu banyak perusahaan memakai vendor yang sama, pelamar yang ditolak sekali cenderung ditolak di mana-mana. Sekitar 10 persen orang yang mengirim empat lamaran ditolak oleh keempatnya.

Konsentrasi itulah persoalan strukturalnya. Ketika satu model berada di balik sebagian besar pasar rekrutmen, titik butanya bukan kesalahan yang berdiri sendiri, melainkan gerbang yang tertutup serempak di banyak perusahaan.

Kenapa ini penting

Kalau kamu mengelola rekrutmen dan bergantung pada vendor penyaring, ini menegaskan pemeriksaan keadilanmu harus per posisi, bukan digabung, atau kamu justru melewatkan bias yang paling diperhatikan regulator. Bagi pencari kerja, temuan ini menjelaskan pola nyata: penolakan otomatis berulang bisa jadi cerminan titik buta satu model yang dipakai bersama, bukan soal kualifikasimu.