Anthropic memisahkan otak dan tangan agennya supaya tahan crash

Tim engineering Anthropic menjelaskan bagaimana mereka membangun ulang fondasi di balik hosted agent mereka. Desain lama menaruh semuanya dalam satu container: session log, kode orkestrasi, dan sandbox tempat Claude menjalankan perintah. Ketika container itu mati, seluruh sesi ikut hilang, dan proses debug berarti membaca aliran WebSocket sementara data pengguna berada tepat di sebelah agent. Versi baru memecah sistem menjadi tiga bagian terpisah. Session kini berupa event log append-only yang durable dan hidup di luar runtime. Harness menjadi lapisan stateless yang memanggil model dan menentukan langkah berikutnya. Sandbox murni jadi lingkungan eksekusi, bisa container, MCP server, atau sekumpulan custom tools.

Pemisahan ini mengubah cara kegagalan ditangani. Harness berbicara ke sandbox lewat antarmuka kecil, kira-kira execute(name, input), dan sandbox yang mati diperlakukan sebagai error tool biasa sehingga harness bisa meminta yang baru lalu lanjut. Kalau harness sendiri crash, ia bangun lagi dari session id, memutar ulang riwayat event, dan melanjutkan dari event terakhir. Credential tidak pernah masuk ke sandbox tempat kode buatan model dieksekusi: git token hanya disuntikkan saat inisialisasi, dan OAuth token disimpan di vault di belakang proxy. Karena session log berada di luar, model bisa membacanya berdasarkan posisi dan bekerja melewati batas context window. Anthropic menyebut dampak praktisnya pada latensi. Time to first token turun sekitar 60 persen di median dan lebih dari 90 persen di persentil ke-95, karena inference tidak lagi menunggu container disediakan.

Kenapa ini penting

Kalau kamu membangun agent yang berjalan lama, ini acuan konkret untuk bertahan dari crash tanpa kehilangan sesi, dan pola pemisahan otak dari tangan bisa kamu tiru. Angka latensinya juga memperjelas dari mana sebenarnya waktu tersedot selama ini.