Model open 4B setara GPT-5.6 untuk search, biaya 100x lebih murah

Neon menjelaskan bagaimana mereka mengambil model open-weight berukuran 4 miliar parameter lalu melakukan post-training dengan Castform, sebuah platform reinforcement learning, sampai model itu menyamai model frontier GPT-5.6 Sol pada satu tugas agentic search. Tugasnya adalah jenis yang sering muncul di sistem retrieval: memecah pertanyaan menjadi beberapa langkah pencarian di dalam korpus dokumen, lalu menarik klausa spesifik yang menjawabnya. Contoh mereka adalah pencarian kebijakan perusahaan, di mana agent harus menemukan bagian yang tepat di dokumentasi internal, bukan menebak.

Nilai jual Castform adalah membuat post-training terasa lebih dekat ke prompt engineering ketimbang proyek riset. Platform ini mengotomatiskan loop RL: menjalankan tugas, menilai hasilnya, lalu mengumpankan sinyal itu kembali. Soal biaya, Neon memberi angka konkret untuk baseline frontier: satu pencarian multi-turn dengan GPT-5.6 Sol butuh lebih dari 10 detik dan biaya sekitar $0,03 dari ujung ke ujung. Model 4B yang sudah dilatih, kata mereka, mengerjakan hal serupa dengan biaya kira-kira seperseratusnya.

Klaim ini datang dengan catatan yang perlu dibaca cermat. Ini tulisan vendor yang mempromosikan platform Neon sendiri, tidak menyebut persentase akurasi yang pasti, dan tidak menyebut model open yang jadi basis. Angkanya spesifik, tetapi definisi perbandingannya milik mereka.

Kenapa ini penting

Kalau Anda menjalankan agent yang berat di retrieval dalam skala besar, model kecil yang dilatih untuk satu tugas sempit bisa memangkas biaya inference secara tajam, tapi ini benchmark vendor. Uji di korpus dan standar akurasi Anda sendiri sebelum memercayai angka 100x itu.