Perubahan API yang membantu model besar bisa merusak model kecil

Saat menambahkan fitur agar sebuah library lebih mudah dipakai coding agent, kebanyakan orang mengujinya dengan model kuat lalu mengasumsikan keuntungannya pasti menetes ke bawah. Tulisan benchmarking agent dari Hugging Face memperlihatkan asumsi itu berbahaya. Tim mereka membuat harness yang mengukur bukan cuma apakah agent memberi jawaban benar, melainkan berapa besar ongkosnya: token yang terpakai, waktu yang dibutuhkan, error yang muncul, dan API mana yang benar-benar dipanggil. Tiap tugas dijalankan dalam tiga skenario, dari instalasi biasa, ke repository sumber lengkap, lalu ke kumpulan dokumentasi dan contoh yang ditaruh dalam context.

Pengujian terhadap perubahan di library Transformers menghasilkan perbedaan yang jelas. Pada model besar seperti Kimi, GLM-5.1, dan MiniMax-M2.7, tambahan command-line interface plus dokumentasi memangkas waktu eksekusi median, walau input token naik sekitar 60 persen, dari kira-kira 4.000 menjadi 6.400 pada skenario repo sumber. CLI baru itu baru diadopsi 55 persen ketika dokumentasinya tersedia dalam context, pertanda dokumentasi yang baik adalah pendorong utama penemuan fitur. Model kecil bercerita lain. Akurasi klasifikasi sentimen Qwen3-14B anjlok dari 100 persen menjadi nol begitu dokumentasi CLI hadir, karena model itu menganggap dokumentasinya sebagai tool yang bisa dipanggil, dan pemakaian tokennya melonjak sepuluh kali lipat tanpa hasil tambahan.

Kenapa ini penting

Kalau Anda memelihara library yang dikonsumsi agent, fitur yang jelas membantu model frontier bisa diam-diam meracuni hasil pada model 4B hingga 14B yang banyak dipakai tim demi menekan biaya. Uji perubahan yang ditujukan untuk agent di berbagai ukuran model sebelum dirilis, jangan percaya begitu saja bahwa yang membantu model kuat pasti aman buat model lemah.