Metode penyetelan pangkas sepertiga thinking token Gemma tanpa menurunkan akurasi

BottleCap AI memublikasikan hasil ThinkingCap, metode yang memperpendek fase berpikir sebuah reasoning model, kali ini diterapkan pada gemma-4-26B-A4B buatan Google, sebuah model sparse mixture-of-experts dengan sekitar 4B parameter aktif per token. Tujuannya sempit: mencapai jawaban yang sama dengan lebih sedikit thinking token dan tidak mengubah hal lain, baik pengetahuan, kualitas jawaban, kepatuhan pada instruksi, maupun safety.

Pada evaluasi yang dijalankan BottleCap sendiri di dua belas benchmark, model hasil setelan memakai 38,9% lebih sedikit thinking token rata-rata, dan hingga 69,1% lebih sedikit di LongBench v2. Akurasi nyaris tak bergeser: 75,03% berbanding 75,18% untuk versi asli, selisih 0,15 poin, dengan lima benchmark justru lebih tinggi dan kasus terburuk turun 4 poin di AA-LCR. Dua masalah keandalan juga turun tajam. Respons yang terdeteksi looping anjlok dari 3,64% ke 0,76%, dan respons yang fase berpikirnya tak pernah selesai turun dari 4,35% ke 0,72%. BottleCap menjalankan tiap benchmark dengan beberapa seed pada harness yang sama dan mencatat sebagian besar selisih akurasi masih dalam rentang noise antar-run.

Angka-angka ini berasal dari pengujian vendor sendiri, jadi perlakukan sebagai klaim yang harus diverifikasi, bukan hasil final. Perusahaan juga menyebut versi PRO dengan pemangkasan lebih besar, tetapi tanpa data evaluasi apa pun.

Kenapa ini penting

Kalau kamu menyajikan reasoning model di produksi, thinking token adalah komponen biaya dan latensi yang langsung terasa. Model drop-in yang berpikir sekitar 39% lebih singkat untuk jawaban yang sama akan memangkas keduanya, jadi ini layak diuji pada trafikmu sendiri begitu bobotnya tersedia, dengan mengingat angkanya masih self-reported.