Tokenizer baru Claude Sonnet 5 diam-diam menaikkan biaya asli

Anthropic memasarkan Claude Sonnet 5 sebagai model dengan performa mendekati Opus 4.8 di harga lebih murah, lengkap dengan context window 1 juta token dan output hingga 128.000 token. Harga listnya tampak tidak berubah dari Sonnet 4.6, yaitu $3 dan $15 per juta token input dan output, dengan tarif perkenalan $2 dan $10 sampai 31 Agustus. Simon Willison menengok di balik angka itu dan menemukan jebakannya: model ini memakai tokenizer baru yang mengubah teks yang sama menjadi sekitar 30% lebih banyak token, jadi tagihan yang benar-benar kamu bayar naik meski tarif per tokennya tetap.

Willison mengukurnya pakai dokumen nyata, bukan sekadar percaya angka bulat. Teks bahasa Inggris keluar sekitar 1,42 kali lebih mahal dibanding Sonnet 4.6, bahasa Spanyol sekitar 1,33 kali, dan kode Python sekitar 1,27 kali. Mandarin sederhana jadi pengecualian dan biayanya nyaris sama. Karena efeknya berbeda tergantung jenis konten, satu-satunya cara jujur untuk tahu angkamu sendiri adalah menjalankan teksmu lewat tokenizer itu. Willison juga menandai perubahan API yang lebih senyap: temperature, top_p, dan top_k tidak lagi didukung, sehingga kode yang menyetel sampling akan patah.

Intinya, membandingkan harga antar model secara apple-to-apple kini menyesatkan. Dua model bisa memasang angka dollar per juta token yang sama tetapi berbiaya sangat berbeda untuk pekerjaan yang sama, karena tokenisasi menentukan berapa banyak token yang dihasilkan inputmu. Kamu bisa membaca ukuran lengkap Willison sebelum berpindah.

Kenapa ini penting

Kalau kamu memakai Sonnet dalam volume besar, siapkan anggaran untuk kenaikan biaya nyata sekitar seperempat sampai setengah pada teks Inggris dan kode, bukan harga datar yang tersirat di halaman pricing. Ukur workload-mu sendiri sebelum migrasi, dan berhenti membandingkan model hanya dari tarif per token yang diiklankan.