Harga tercantum sebuah LLM menyembunyikan tagihan dari tokenizer-nya

Membandingkan harga model lewat angka dolar per juta token yang tercantum melewatkan satu variabel tersembunyi: tokenizer. Teks yang sama menjadi jumlah token yang berbeda tergantung modelnya, jadi dua model dengan harga tercantum sama bisa berbiaya jauh berbeda saat dijalankan. Dalam satu pengujian, satu file TypeScript menghasilkan 681 token di GPT-5.x tapi 1.178 token di tokenizer baru Claude, 73% lebih banyak untuk kode yang identik.

Selisihnya lebih parah untuk kode ketimbang prosa. Terhadap baseline o200k milik OpenAI, tokenizer terbaru Claude menghasilkan sekitar 1,40x token pada teks Inggris, 1,58x pada Rust, dan 1,73x pada TypeScript. Ada juga jebakan di dalam satu vendor. Claude Opus 4.6 dan 4.8 memasang harga sama, $5 dan $25 per juta, tapi tokenizer baru 4.8 mengeluarkan kira-kira 32% lebih banyak token untuk konten yang sama, sehingga biaya sebenarnya Opus 4.8 mendekati $7,50 dan $37,50 per juta setelah inflasi token diperhitungkan. Penulisnya mengukur ini dengan endpoint penghitung token resmi pada 16 jenis konten, lalu memverifikasinya lewat panggilan API yang benar-benar ditagih seharga sekitar $0,08.

Kenapa ini penting

Kalau kamu menyusun anggaran atau membandingkan API LLM, terutama untuk coding agent yang mendorong kode dalam volume besar melewati context, harga tercantum bisa membuat tagihan sebenarnya tampak lebih kecil sepertiga atau lebih. Ukur jumlah token pada konten kamu sendiri dengan tokenizer tiap vendor sebelum memilih, karena harga yang lebih murah di kertas tidak selalu berarti model yang lebih murah.