Kenapa tulisan AI lebih sulit dibaca ketimbang tulisan manusia

Sebuah paper baru menyelidiki mengapa teks dari model bahasa sering terasa lebih sulit dibaca dibanding tulisan manusia, dan mengujinya dengan jawaban yang konkret: teks model memuat lebih banyak ciri yang diketahui memperlambat pembacaan manusia. Para penulis, Thomas Hikaru Clark, Matias Martin, dan Kyle Mahowald, menyusun korpus teks AI dari beberapa domain dan mengukur penanda psikolinguistik kesulitan pemrosesan, seperti klausa relatif objek, dependensi sintaksis yang panjang, dan rangkaian kata yang jarang muncul. Dibanding tulisan manusia, kesembilan model frontier dan mendekati frontier yang diuji memakai lebih banyak subjek benda mati yang dipasangkan dengan kata kerja bernyawa serta lebih banyak n-gram berfrekuensi rendah. Sebagian besar juga menghasilkan dependensi yang lebih panjang, penumpukan kata benda yang lebih banyak, dan lebih banyak klausa relatif yang dipadatkan dalam percakapan. Antar-keluarga model, perbedaannya cukup besar.

Untuk memisahkan gaya model dari isinya, para penulis membandingkannya dengan parafrasa hasil terjemahan bolak-balik, dan model tetap memakai ciri-ciri sulit itu lebih sering. Penjelasan mereka: bahasa manusia terbentuk oleh tekanan untuk berkomunikasi dengan berhasil, sedangkan teks model makin disetel untuk matematika, kode, dan penalaran, yang lebih menghargai kepadatan informasi ketimbang kemudahan membaca. Satu eksperimen kecil mendukung gagasan ini. Fine-tuning sebuah model dengan penalti panjang justru menjauhkan bahasanya dari pola manusia.

Kenapa ini penting

Kalau kamu menyunting atau menerbitkan keluaran model, temuan ini menyebut hal-hal spesifik yang harus dipangkas, seperti rantai dependensi panjang dan tumpukan kata benda, bukan sekadar saran samar agar teks dibuat lebih jelas. Kalau kamu melatih model untuk menulis, ini peringatan bahwa kepadatan yang membantu di benchmark adalah hal yang sama yang membuat prosa melelahkan dibaca.