DSPy membongkar bug tersembunyi di prompt sebuah agent

Simon Willison menghabiskan satu hari memakai DSPy, framework untuk mengoptimalkan prompt terhadap metrik yang bisa diukur, guna memperbaiki system prompt di balik Datasette Agent, alat yang menjawab pertanyaan dengan menulis dan menjalankan SQL. Alih-alih menyetel prompt secara manual, ia menyerahkan sebagian besar pekerjaan ke Claude Code: memasang Datasette, datasette-agent, dan DSPy, lalu membangun harness yang menjalankan optimizer DSPy terhadap tool asli si agent. Harness itu mengarahkan model kecil dan murah (GPT 4.1 mini dan nano) ke instance Datasette yang hidup di dalam proses, menghasilkan kumpulan pertanyaan dan jawaban acuan secara otomatis, lalu menilai agent dengan metrik buatan sendiri. Detail lengkapnya ada di tulisannya.

Hasil yang berguna bukan prompt ajaib, melainkan satu bug spesifik yang tersingkap dari proses ini. Daftar schema si agent hanya menampilkan nama tabel, sementara satu baris di prompt melarang model memanggil describe_table jika informasinya dianggap sudah ada. Kombinasi keduanya mendorong model menebak nama kolom, yang lalu gagal dan memicu loop error dan retry yang lambat. Perbaikannya sederhana dan konkret: masukkan nama kolom ke daftar schema, atau buang saran yang membuat model enggan mengecek. Kesimpulan Willison, DSPy paling berharga di sini sebagai cara mengukur dampak perubahan prompt, bukan sebagai penulis prompt otomatis.

Kenapa ini penting

Kalau kamu membangun agent untuk SQL atau tool lain, pelajarannya jelas: schema yang tipis ditambah instruksi "jangan cek dulu" bisa diam-diam memicu loop retry yang memboroskan token dan menambah latensi. Harness pengukuran membuat kegagalan seperti itu terlihat sebelum pengguna yang menemukannya, jadi bangun dulu harness sebelum mulai mengedit prompt secara manual.