Routing model itu soal optimasi, bukan sekadar klasifikasi

Tim IBM Research membantah anggapan umum bahwa routing antarmodel AI cuma soal klasifikasi: kirim tugas mudah ke model murah, tugas sulit ke model mahal. Dengan data pengukuran, mereka berargumen bahwa kerangka itu menyembunyikan sebagian besar faktor yang sebenarnya menentukan biaya dan kecepatan.

Contoh paling jelas ada di harga. Pada 417 tugas dari benchmark AppWorld, Claude Sonnet menghabiskan total $79, sekitar $0,19 per tugas, sedangkan GPT-4.1 menghabiskan $155, hampir dua kali lipat, atau $0,37 per tugas. Angka ini justru terbalik dari yang disiratkan harga per-token resmi. Penyebabnya, workload agent memakai ulang potongan context yang besar di banyak langkah, dan harga cache read Sonnet yang lebih murah menutupi biaya dasarnya yang lebih tinggi dan langkah reasoning yang lebih panjang. Tingkat kesulitan juga licin: prompt yang tampak sepele bisa memicu retrieval dan pengecekan kepatuhan tersembunyi, sementara prompt teknis yang tampak menakutkan mungkin ditangani baik oleh model kecil yang terspesialisasi. Latency pun sering ditentukan oleh infrastruktur seperti kondisi cache dan kepadatan endpoint, bukan kecepatan mentah model.

Karena itu tim memperlakukan routing sebagai persoalan optimasi. Mereka menyusun cost-accuracy frontier lalu memilih satu titik di atasnya: satu konfigurasi mencapai akurasi 84% dengan biaya $93 dan waktu 83 detik, sebuah penghematan biaya 21% dan latency 9% dibanding baseline, dengan pengorbanan akurasi 4%.

Kenapa ini penting

Kalau Anda menjalankan setup multi-model dan memilih router berdasarkan daftar harga per-token, tagihan Anda bisa jadi lebih besar dari yang seharusnya. Langkah praktisnya: ukur biaya nyata per tugas dengan caching aktif pada trafik Anda sendiri, lalu tentukan berapa banyak akurasi yang rela Anda tukar untuk memangkas biaya secara signifikan.