Cara Databricks menekan biaya AI coding tanpa mengorbankan kualitas

Databricks membagikan penjelasan rinci tentang cara mereka menjaga biaya tool AI coding tetap terkendali seiring pemakaian yang membesar di seluruh tim engineering. Langkah paling berpengaruh justru yang paling sederhana: beralih ke model yang lebih murah selama hasilnya cukup baik. Tim mereka menguji model GLM, menemukan rasio harga terhadap performa yang sangat kompetitif, lalu memakainya secara internal. Mereka juga memutuskan tidak mengadopsi Opus 4.7 setelah pengujian menunjukkan model itu tidak benar-benar unggul dibanding 4.6 untuk pekerjaan mereka. Model terbaru tidak selalu sepadan dengan harganya.

Routing menyelesaikan sebagian besar sisanya. Databricks menanamkan smart routing di Unity AI Gateway, mengarahkan tiap permintaan ke penanganan level request, level task, atau pola eskalasi, dan melaporkan pemangkasan biaya rata-rata per task lebih dari 30% dengan kualitas yang mendekati opsi termahal. Secara terpisah, penyetelan harness dan caching memangkas token yang dihasilkan hampir setengahnya tanpa menurunkan kualitas. Alih-alih memutus anggaran secara keras, developer melihat dashboard pengeluaran real-time dan melewati gate yang bisa dibuka sendiri, yang menurunkan mereka ke model lebih murah. Databricks membuka dua tool di balik ini sebagai open source: Unity AI Gateway untuk manajemen biaya dan Omnigent, sebuah meta-harness untuk memilih model.

Kenapa ini penting

Kalau pengeluaran coding-agent tim Anda terus naik, sebagian besar penghematan di sini tidak butuh training ulang model: pilih model murah yang lolos benchmark Anda sendiri, atur routing per task, dan perbaiki caching. Gateway yang di-open source memberi titik awal untuk mulai mengukur sebelum memangkas.