Lilian Weng: harness sama pentingnya dengan modelnya

Esai baru Lilian Weng menyampaikan satu poin sederhana yang mudah terlewat: saat orang membahas sistem AI yang memperbaiki dirinya sendiri, yang terbayang adalah model yang lebih pintar, padahal banyak kemajuan justru datang dari harness. Harness adalah lapisan orkestrasi di sekeliling model, semua yang mengubah bobot mentah menjadi sistem yang bekerja: cara ia menjalankan langkah, memanggil tool, dan menyimpan memory. Menurut Weng, scaffolding inilah yang sama pentingnya dengan kapabilitas model dalam recursive self-improvement, dan sering kali justru bagian yang paling cepat bisa diperbaiki.

Ia mengelompokkan praktik saat ini ke tiga pola desain. Pertama, otomasi workflow, yaitu merangkai langkah menjadi proses yang bisa diulang. Kedua, memory berbasis file-system yang persisten, memberi agent tempat mencatat lalu membacanya lagi antar-run. Ketiga, sub-agent paralel yang memecah tugas dan mengerjakannya bersamaan. Di atas ketiganya, ia menjelaskan cara mengoptimalkan harness itu sendiri, termasuk pencarian evolutionary atas workflow dan sistem yang memodifikasi dirinya, yang ia sebut Meta-Harness dan Self-Harness, saat sistem menulis ulang orkestrasinya sendiri.

Esai ini tidak menjualnya sebagai sudah selesai. Weng terus terang soal masalah yang masih terbuka: evaluator untuk tugas bergaya riset masih lemah, sehingga sulit menilai apakah sebuah perubahan benar-benar membantu; memory belum bisa diskalakan dengan rapi; reward hacking tetap jadi risiko nyata; dan pengawasan manusia masih dibutuhkan. Cara pandang inilah, kapabilitas dan bahaya dalam satu gambaran, yang membuatnya layak dibaca ketimbang sekadar rangkuman pola agent lain.

Kenapa ini penting

Kalau kamu membangun agent, ini peta yang jelas soal tuas yang benar-benar bisa kamu kendalikan sehari-hari, sebab mengubah harness jauh lebih mudah daripada mengubah model. Esai ini juga menyebut mode kegagalan yang perlu diwaspadai, jadi jadikan peringatan soal evaluator lemah dan reward hacking sebagai checklist sebelum kamu membiarkan sistem menyetel workflow-nya sendiri.