Kenapa harga per satu juta token hampir tak berarti

Jan Ilowski menunjukkan hal sederhana: angka yang selalu dikutip orang untuk model AI, yaitu dolar per satu juta token, nyaris tak berguna untuk memutuskan model mana yang dipakai. Masalahnya, satu token bukan satuan kerja yang tetap. Tiap lab memakai tokenizer sendiri, jadi teks yang sama menghasilkan jumlah token berbeda tergantung modelnya. Contohnya lugas: satu paragraf yang jadi 160 token di satu tokenizer menjadi 200 token di tokenizer lain, dan perubahan tokenizer Anthropic baru-baru ini menaikkan hitungan sekitar 30 persen tanpa perubahan harga tercantum. Membandingkan dua model lewat tarif per token sama saja mengukur dengan dua penggaris berbeda.

Celah kedua adalah penalaran yang kamu bayar tapi tak pernah kamu lihat. Kerja chain-of-thought ditagih sama seperti output yang terlihat, dan seberapa banyak yang dipakai tiap model sangat bervariasi, jadi dua model dengan tarif sama bisa menagih sangat berbeda untuk pekerjaan yang sama. Tabel benchmark miliknya menegaskan ini. DeepSeek V4 Pro tercantum $0,435 dan $0,87 per satu juta token tetapi menyelesaikan satu tugas sekitar empat sampai lima sen. GPT-5.5 terlihat mahal di $5 dan $30 tetapi jatuh di kisaran $0,99 per tugas, lebih murah dari Claude Opus untuk pekerjaan yang sama. Sonnet 5 justru lebih mahal per tugas selesai dibanding Opus 4.8 sambil hasilnya lebih buruk.

Kesimpulannya: berhenti berbelanja lewat daftar tarif dan ukur biaya per tugas selesai pada beban kerjamu sendiri. Kamu bisa membaca argumen dan tabel lengkapnya di blognya.

Kenapa ini penting

Kalau kamu memilih model dari baris harga per token di halaman pricing, kamu bisa berakhir membayar lebih untuk hasil yang lebih buruk. Jalankan prompt aslimu ke tiap kandidat, bagi total biaya dengan jumlah tugas yang selesai, lalu pilih berdasar angka itu.