Eksekusi Kode Memangkas Biaya Token Agent MCP

Saat sebuah agent terhubung ke banyak tool lewat Model Context Protocol, pendekatan naif memuat setiap definisi tool ke context dan mengalirkan setiap hasil antara kembali lewat model. Tim engineering Anthropic berargumen itu kesalahan yang mahal. Alternatif mereka: menyajikan server MCP sebagai filesystem berisi kode, misalnya satu berkas per tool yang dibaca agent saat dibutuhkan, lalu membiarkan agent menulis kode yang memanggil tool itu dan menahan data besar tetap di dalam sandbox eksekusi, bukan melewatkannya lewat prompt. Contoh yang dikerjakan adalah transfer Google Drive ke Salesforce: versi pemanggilan tool langsung menggerakkan sekitar 150.000 token lewat context, versi eksekusi kode sekitar 2.000, yang mereka sebut pengurangan 98,7 persen, terutama dengan tidak pernah melewatkan transkrip besar lewat model dua kali. Tulisan ini jujur soal ongkosnya. Kamu sekarang butuh sandbox aman dengan batas sumber daya dan pemantauan, dan itu beban operasional yang tidak dimiliki pemanggilan tool biasa.

Kenapa ini penting

Untuk agent dengan banyak tool, context yang membengkak adalah tagihan nyata dan sumber latensi nyata. Ini pola konkret, dengan sebelum dan sesudah yang terukur, untuk memangkas keduanya, asalkan kamu bisa menjalankan kode dengan aman. Tradeoff-nya adalah kerja sandbox yang harus kamu hitung.