LoRA jadi pilihan default fine-tuning karena kebiasaan, bukan karena terbaik

LoRA sudah jadi pilihan refleks untuk fine-tuning model besar, dan sebuah tulisan Hugging Face berargumen bahwa refleks itu lebih karena kebiasaan ketimbang bukti. Penulisnya pertama-tama menunjukkan betapa dominannya LoRA: 98,4% model card yang menyebut satu metode parameter-efficient menyebut LoRA, 95% checkpoint image generation berupa LoRA, dan 71,3% contoh kode di GitHub memakainya. Kekhawatiran mereka, popularitas ini memberi makan dirinya sendiri, jadi orang memilih LoRA karena semua orang memakainya, bukan karena pernah membandingkannya dengan alternatif.

Maka mereka mengukurnya. Dengan menjalankan lebih dari 40 teknik lewat library PEFT pada tugas yang sama, tidak ada satu pemenang tunggal, hanya tradeoff yang berbeda. Pada tugas penalaran matematika (MetaMathQA di Llama-3.2-3B), LoRA mencapai akurasi 53,2% pada memori 22,6 GB; metode bernama Lily mencapai 54,9% dengan memori sedikit lebih tinggi, sedangkan BEFT lebih hemat memori tapi turun ke 32,9%. Untuk mempelajari satu konsep gambar di FLUX.2, teknik bernama OFT mengungguli LoRA di dua sisi sekaligus: kemiripan lebih tinggi (0,708 berbanding 0,697) dan memori lebih rendah (9,01 berbanding 9,97 GB). Metode mana yang menang bergantung pada apa yang kamu optimalkan, entah akurasi, memori, runtime, atau ukuran checkpoint, dan API PEFT yang terpadu membuat perpindahan antar-metode cukup mengubah satu baris config.

Kenapa ini penting

Kalau kamu melakukan fine-tuning, langsung memakai LoRA bisa diam-diam mengorbankan akurasi atau memori yang sebenarnya bisa kamu dapat gratis dari metode lain. Karena ganti teknik hanya soal mengubah config, ada baiknya membandingkan dua atau tiga teknik di tugasmu sendiri sebelum memutuskan satu.