Thinking Machines rilis Inkling, model open-weights yang dirancang untuk di-tuning

Thinking Machines Lab merilis Inkling, model open-weights pertamanya, dengan pembingkaian yang sengaja dipilih: tim menyebutnya "basis open-weights yang bagus untuk kustomisasi", bukan model terkuat yang bisa kamu jalankan. Inkling adalah mixture-of-experts berukuran 975B parameter dengan 41B aktif, ditemani versi preview yang lebih kecil 276B/12B, dan keduanya menangani context window hingga 1M token. Weight lengkapnya tersedia di Hugging Face, termasuk checkpoint NVFP4 untuk NVIDIA Blackwell, sementara fine-tuning ditawarkan dengan harga separuh di platform Tinker milik mereka.

Arsitekturnya punya beberapa pilihan tak biasa yang layak dibaca kalau kamu terbiasa men-tuning model. Inkling memakai relative positional embedding alih-alih RoPE agar ekstrapolasi konteks panjang lebih baik, menyelang-nyeling sliding-window dan global attention dengan rasio 5:1, dan menambahkan konvolusi pendek setelah proyeksi key dan value pada attention. Jalur multimodalnya tanpa encoder: audio masuk sebagai spektrogram dMel dan gambar sebagai patch piksel 40x40, langsung diumpankan ke model. Pretraining berjalan di atas 45 triliun token teks, gambar, audio, dan video, dan post-training memakai lebih dari 30 juta rollout reinforcement learning.

Hasil benchmark-nya berada di wilayah open-weights yang kompetitif, bukan di garis depan: 77,6% di SWE-bench Verified, 97,1% di AIME, dan 87,2% di GPQA Diamond. Fitur yang lebih praktis adalah controllable thinking effort. Pada setting rendah, Inkling menyamai Nemotron 3 Ultra di Terminal Bench 2.1 sambil memakai kira-kira sepertiga token, dan menurut tim, chain-of-thought-nya makin ringkas dengan sendirinya selama training RL tanpa dioptimalkan untuk keringkasan. Taruhannya adalah keluasan lintas domain dan adaptasi murah, bukan satu skor utama.

Kenapa ini penting

Kalau kamu men-tuning model terbuka, Inkling memang ditujukan untukmu: basis multimodal yang luas dengan rilis longgar, tuning berdiskon, dan tombol biaya token yang membuatmu bisa menukar kedalaman reasoning dengan biaya per tugas. Layak diuji melawan MoE terbuka yang kamu pakai sekarang, apalagi kalau beban kerjamu spesifik per domain dan bukan sekadar mengejar leaderboard.