DiScoFormer dari AI2 menjadikan attention sebagai penaksir densitas yang lebih baik

Penaksiran densitas, yaitu mengukur seberapa mungkin sebuah titik muncul di bawah suatu distribusi, adalah perkakas dasar dalam generative modeling, Bayesian inference, dan komputasi ilmiah. Metode klasiknya, kernel density estimation (KDE), menaruh satu gundukan kecil di setiap titik data lalu menjumlahkannya, tapi mutunya merosot di dimensi tinggi dan ia harus menyimpan seluruh data. DiScoFormer dari AI2 menempuh jalan lain. Ia satu transformer yang menaksir densitas sekaligus score (gradien dari log-densitas) dalam satu forward pass, dan bekerja lintas banyak distribusi tanpa dilatih ulang untuk masing-masing.

Idenya berpijak pada satu pengamatan rapi: bobot satu attention head hampir menyerupai kernel Gaussian atas data, sehingga attention sebenarnya sudah melakukan sesuatu yang dekat dengan KDE. DiScoFormer mempertahankan itu sebagai kasus khusus lalu memperbaikinya. Dilatih pada campuran Gaussian dengan target yang eksak, di 100 dimensi ia memangkas score error sekitar 6,5x dan density error lebih dari 37x dibanding KDE yang sudah disetel, dan ia terus membaik seiring penambahan sampel sementara KDE kehabisan memori. Ia juga tetap akurat pada distribusi yang tak pernah dilihatnya saat training, termasuk campuran dengan lebih banyak modus daripada yang ditunjukkan dan bentuk berekor lebih tebal seperti Laplace dan Student-t.

Laporan AI2 menyebut hasil ini sebagai pengganti yang bisa dipelajari dan dipakai ulang untuk metode yang nyaris tak berubah selama puluhan tahun.

Kenapa ini penting

Kalau pekerjaanmu menyentuh penaksiran densitas atau score, ini model pra-latih yang mengalahkan baseline klasik yang disetel cermat di dimensi tinggi dan menggeneralisasi ke distribusi baru, jadi layak diuji sebelum kamu membangun penaksir khusus sendiri. Ini juga mengisyaratkan attention bisa menyerap perkakas statistik lain yang dulu dirancang manual.