DPO turunkan degeneration OCR 59% rata-rata tanpa label manusia

Postingan baru di Hugging Face dari Dharma AI berargumen bahwa Direct Preference Optimization, kuda beban post-training model chat, sama bergunanya untuk tugas structured generation seperti OCR, dan kamu tidak butuh label preferensi manusia untuk memakainya. Triknya: pakai output degeneratif model itu sendiri, loop token berulang yang tidak pernah benar-benar hilang dengan supervised fine-tuning, sebagai sisi rejected dari preference pair.

Angkanya cukup mencolok. Lintas lima keluarga model OCR yang diuji, DPO menurunkan rate text degeneration rata-rata 59,4% dibanding SFT saja, dengan puncak 87,6% pada Nanonets-OCR2-3B yang turun dari 1,61% ke 0,20%. Rate degeneration baseline antar lima keluarga bervariasi jauh, dari 0,60% sampai 33,96%, tapi semuanya membaik, di rentang 37,3% hingga 87,6%. Penulis menjelaskan, SFT mengoptimasi output yang benar tapi tidak secara eksplisit menghukum degeneration, yang sifatnya kegagalan kategoris, bukan gradien kualitas. DPO dengan rejected yang dihasilkan sendiri memberi model gradien untuk didorong.

Mereka tegas soal kapan resep ini bisa ditransfer. Kamu butuh mode kegagalan yang teridentifikasi, scoring otomatis yang andal, dan cukup data inference untuk ditambang sebagai rejected. Cakupannya luas, jauh dari sekadar OCR.

Kenapa ini penting

Kalau kamu fine-tune model kecil untuk tugas struktural (ekstraksi, captioning, parsing) dan sudah menyerah dengan residual degeneration yang ditinggalkan SFT, ini resep yang bisa langsung kamu jalankan tanpa membayar anotasi preferensi. Pipeline-nya cukup butuh log kegagalanmu sendiri ditambah checker otomatis.