Mercury 2.5 mendorong diffusion language model masuk ke pemakaian produksi

Inception merilis Mercury 2.5, yang mereka sebut sebagai diffusion language model terbesar yang pernah dilatih. Berbeda dari model autoregressive biasa yang menulis satu token pada satu waktu, diffusion LLM menyempurnakan satu blok teks secara paralel, dan arsitektur inilah yang membuat Inception bisa mengklaim 1.107 token per detik di GPU NVIDIA standar. Menurut mereka, versi baru ini sekitar 40 persen lebih mampu dibanding Mercury 2, dan berada dekat dengan model frontier hemat biaya seperti GPT-5.6 Luna (Low) dan Claude Haiku 4.5. Model ini punya context window 260K token dan, untuk suara, mencapai token pertama dalam waktu di bawah 170 milidetik.

Daya tariknya ada pada kecepatan dan harga, bukan kualitas puncak di papan peringkat. Tarif standarnya $0,20 per juta token input dan $0,75 per juta token output, dengan diskon peluncuran 80 persen yang menurunkannya jadi $0,04 dan $0,15. Inception menyebut satu pelanggan, OpenCall, yang memangkas latensi P99 dari beberapa menit menjadi sekitar satu detik, meski angka itu mencerminkan beban kerja spesifik mereka. Pengumumannya banyak bersandar pada benchmark dan metrik dan tidak membuka detail internal model, jadi pembacaan yang jujur adalah model cepat dan murah di kelas Haiku, bukan penantang model reasoning terkuat.

Kenapa ini penting

Kalau kamu membangun asisten suara, autocomplete, atau apa pun yang membuat pengguna menunggu setiap respons, token pertama di bawah 170ms dan throughput ribuan token per detik mengubah batas yang terasa mungkin. Ujilah langsung melawan model autoregressive kecil pada tugasmu sendiri, karena kualitasnya di kelas menengah dan klaim kecepatannya datang dari vendor.