Analisis AI2: model hybrid lebih jago kata bermakna, transformer lebih jago menyalin persis

Apa sebenarnya yang kamu dapat ketika layer recurrent dicampur ke dalam transformer? Peneliti di Allen Institute for AI mencoba menjawabnya pada level token satu per satu. Mereka melatih dua model, Olmo 3 dan Olmo Hybrid, dengan data, tokenizer, dan resep training yang identik, lalu memberi keduanya teks yang sama dan mengukur selisih loss prediksi token demi token.

Polanya jelas. Model hybrid lebih baik pada kata isi: nomina, verba, adjektiva, dan terutama adverbia, dengan selisih loss sekitar 0,04 berbanding sekitar 0,02 untuk kata fungsi. Pronomina dan token lain yang bergantung pada kondisi teks yang sedang berjalan juga lebih cocok untuk hybrid. Transformer menang saat yang dibutuhkan adalah menyalin persis. Pada kurung tutup dan kurung kurawal, keunggulan hybrid hampir hilang, dan pada urutan yang berulang keunggulan itu menyusut mendekati nol seiring makin panjangnya bagian yang diulang, karena memproduksi ulang teks yang sudah muncul sebelumnya adalah keahlian attention.

Hasilnya adalah pembagian kerja di dalam arsitektur. Tim AI2 menulis bahwa layer recurrent lebih kuat untuk prediksi yang sarat makna dan bergantung konteks, sementara attention lebih kuat untuk mengingat persis. Artinya hybrid bisa dirancang dengan sengaja: menaruh attention di bagian yang butuh pengambilan presisi, dan recurrence di bagian yang butuh mengikuti makna.

Kenapa ini penting

Kalau kamu sedang menimbang model hybrid untuk beban kerjamu, temuan ini menunjukkan di titik mana trade-off-nya terasa: hybrid mestinya lancar membaca dan menghasilkan prosa biasa, tapi bisa tersandung saat menyalin persis, seperti mencocokkan kurung di kode atau mengutip satu paragraf panjang kata demi kata. Uji dulu di bagian tugas yang menuntut ingatan presisi sebelum kamu pindah.