Tim Dettmers yakin lab akademik bisa menjalankan AI frontier di perangkat sederhana

Tim Dettmers, yang dikenal lewat kerjanya pada quantization model, memakai "open source week" di labnya untuk menyampaikan argumen yang lebih besar: gelombang riset berikutnya akan lahir dari lab akademik dengan perangkat sederhana, bukan hanya dari perusahaan frontier yang bermodal besar. Intinya adalah membuat model besar murah untuk dijalankan. Framework inference timnya menjalankan model Qwen 3.6 35B yang di-quantize pada 450 token per detik dengan 1,5 bit per weight, sekitar 90% lebih hemat memori dibanding half precision. Model 125B, Qwen 3.8 Flash Next, muat di satu GPU 24GB, dan DeepSeek V4.1 berukuran 550B bisa berjalan di kartu AMD atau Nvidia biasa, atau di MacBook dengan RAM 128GB.

Rilis ini juga mencakup teknik auto-compaction bernama CliffCompaction, yang memungkinkan sesi agent berjalan sampai jutaan token. Dettmers menulis beberapa sesinya sendiri sudah melewati seratus juta token, dan menyebut teknik ini memangkas biaya sekitar setengah, dengan satu penerapan mencatat penurunan 45% pada total anggaran AI sebuah perusahaan. Ia juga merilis sistem riset otonom yang berjalan sepenuhnya offline, yang menurutnya mengungguli Sakana AI dan ScientistOne milik Google dalam pengujiannya, serta menyelesaikan satu soal bioinformatika dalam sekitar dua jam dan menghasilkan empat temuan.

Keseluruhan paket, dua proyek open source dan empat paper, dirancang untuk bekerja bersama, bukan sebagai bagian terpisah.

Kenapa ini penting

Kalau Anda meneliti atau membangun agent di luar lab besar, penghalangnya selama ini adalah compute mentah yang tak terjangkau. Tools ini menaruh model berukuran serius ke satu GPU atau laptop, sehingga pertanyaannya bergeser dari apakah Anda bisa menjalankan model 500B menjadi apa yang akan Anda lakukan dengannya di mesin sendiri.