Pelajaran membangun Shippy, agent pemantau laut yang sudah dipakai

Tim Skylight di Ai2 menuliskan apa yang mereka pelajari saat membangun Shippy, agent yang membantu pemerintah dan LSM di lebih dari 70 negara memantau aktivitas di laut: penangkapan ikan ilegal, transfer antarkapal, dan pelanggaran maritim lain. Agent ini berjalan di atas Claude Opus 4.6 dan framework OpenClaw, dan catatannya berguna karena membahas isi mesinnya, bukan sekadar demo.

Ide struktural utama mereka adalah memecah agent menjadi tiga bagian yang bisa di-version terpisah: soul (system prompt yang mengatur perilaku), skills (kemampuan spesifik per tugas), dan config (pengaturan runtime). Mereka juga menolak membiarkan model menyusun panggilan API mentah. Sebagai gantinya, model bekerja lewat CLI khusus yang menyembunyikan API Skylight yang rumit, sehingga sekelompok bug dari query salah format, pagination, dan encoding geometri langsung hilang. Hasil tool ditulis ke file JSON lokal, bukan dicetak ke terminal, agar output besar tidak menabrak batas buffer. Setiap pengguna berjalan di sesi terisolasi dan berumur pendek pada platform Kubernetes bernama Mothership, dengan kredensial disuntikkan saat sesi dimulai supaya data satu pengguna tidak pernah terlihat oleh yang lain.

Bagian paling jujur ada di evaluasi. Alih-alih benchmark statis, para ahli bidang menulis skenario dengan rubrik berbobot yang dijalankan terhadap deployment nyata. Pengujian terbaru memunculkan tiga mode kegagalan: agent memberi rekomendasi taktis padahal seharusnya berhenti di dukungan keputusan, sebagian query yang sensitif lokasi melewatkan kejadian karena batas peta terlalu disederhanakan, dan sesekali agent mengarang perintah CLI yang tidak ada.

Kenapa ini penting

Kalau Anda sedang membangun agent untuk produksi, ini daftar periksa konkret yang bisa Anda tiru: bungkus API yang rapuh dengan CLI yang ketat, isolasi pengguna di level infrastruktur, dan evaluasi dengan rubrik tulisan ahli pada data nyata, bukan sekadar percaya pada skor benchmark.