Scaling law terlihat presisi, tapi cara mengepasnya gampang meleset

Scaling law menjanjikan sesuatu yang praktis: latih beberapa model kecil, epaskan sebuah kurva, lalu perkirakan performa model yang jauh lebih besar sebelum compute dihabiskan. Penjelasan baru dari Lilian Weng menelusuri bagaimana hukum ini sebenarnya berperilaku, dan pesan jujurnya: kurva itu jauh lebih rapuh dari yang terlihat. Hubungan utamanya sederhana, training loss turun mengikuti power law terhadap ukuran model, data, dan compute, dengan patokan kasar bahwa compute kira-kira enam kali jumlah parameter dikali jumlah token. Perdebatan muncul ketika kita bertanya bagaimana membagi anggaran compute yang tetap antara model yang lebih besar dan data yang lebih banyak.

Weng memaparkan selisih terkenal antara Kaplan (2020) dan Chinchilla (2022). Kaplan menyarankan memperbesar model jauh lebih cepat daripada data, sehingga kenaikan compute 10x berarti model dibesarkan sekitar 5,5x tapi token hanya 1,8x. Chinchilla menemukan sebaliknya: model dan data harus tumbuh seimbang, token digandakan setiap kali parameter digandakan. Chinchilla dengan 70 miliar parameter mengungguli Gopher 280 miliar parameter pada anggaran yang sama. Sebagian besar selisihnya berasal dari pilihan kecil, seperti apakah parameter embedding ikut dihitung dan seberapa besar model uji yang dipakai.

Bagian yang paling layak dibaca soal kerapuhan. Weng menunjukkan bahwa mengepaskan scaling law sensitif terhadap hal-hal yang terdengar sepele: membulatkan nilai loss, merata-rata alih-alih menjumlahkannya, atau rentang run mana yang dipakai untuk fitting. Tulisannya mengulang temuan bahwa analisis ulang atas metode Chinchilla sendiri mengubah kesimpulannya begitu cara pembulatan dan penanganan loss diperbaiki. Data juga berhenti gratis begitu token unik habis, dan setiap pengulangan bernilai lebih kecil dari sebelumnya.

Kenapa ini penting

Kalau kamu merencanakan training run dari hasil fitting skala kecil, perkiraan ukuran model optimalmu bisa bergeser jauh hanya karena pilihan pembukuan yang jarang dicatat tim mana pun. Sebelum mengikat anggaran besar, periksa seberapa besar hasil fitting-mu berubah saat cara menghitung parameter dan menjumlahkan loss diubah.