Paper baru: model bahasa juga butuh tidur

Paper yang menembus halaman depan Hacker News pekan ini, Language Models Need Sleep oleh Sangyun Lee, Sean McLeish, Tom Goldstein, dan Giulia Fanti, menawarkan tweak yang terinspirasi biologi untuk cara transformer menangani long context. Idenya: ketimbang mencoba memerhatikan seluruh konteks yang menumpuk di tiap langkah, model secara berkala memasuki fase "tidur". Di fase itu ia membuat recurrent pass offline atas apa yang sudah dilihat, memperbarui fast weights di blok state-space-model lewat aturan lokal yang dipelajari, lalu mengosongkan cache.

Klaim utamanya: pekerjaan ekstra ini pindah ke waktu tidur dan tidak memperlambat prediksi saat pengguna meminta jawaban. Pada benchmark sintetis yang diuji penulis (cellular automata, graph retrieval, dan rangkaian penalaran matematika yang biasanya gagal di transformer standar), durasi tidur yang lebih panjang menghasilkan performa wake-time yang lebih baik, dengan kenaikan terbesar di tugas yang butuh banyak langkah penalaran. Konstruksinya lebih mirip sistem dengan episodic memory daripada penskalaan attention standar, tapi hook praktisnya ada di cerita latency inference. Kamu tetap membayar compute, hanya saja tidak saat request pengguna sedang berjalan.

Ini riset awal dan eksperimennya pada tugas sintetis, jadi arah ini lebih layak dipantau daripada dijadikan taruhan. Pertanyaan menarik untuk tim production: bisakah konsolidasi gaya tidur ini dipasang di stack inference long context yang sudah ada, mengingat trik yang sekarang umum (kompresi KV cache, sparsifikasi attention) mengambil pendekatan yang berbeda.

Kenapa ini penting

Buat tim yang menjalankan loop agent panjang, opsi yang sekarang ada untuk menampung konteks yang menumpuk umumnya kompresi yang mengorbankan kualitas di suatu titik. Pendekatan yang memindahkan kerjanya ke fase offline terpisah bisa mengubah trade-off itu, tapi hanya kalau hasil sintetisnya bertahan di workload nyata. Layak diikuti dulu sebelum mengubah jalur inference.