GPT-6 Astra unggul secara keseluruhan tapi kalah dari Claude untuk coding

Epoch AI memecah Capabilities Index miliknya per domain, dan pembagian ini layak dibaca sebelum Anda memilih model untuk tugas tertentu. GPT-6 Astra memimpin skor keseluruhan dengan 166, di atas Claude Fable 5.1 dengan 164 dan GPT-5.6 Sol dari OpenAI sendiri dengan 162. Di matematika, jaraknya lebar: Math-ECI Astra mencapai 169.83, rekor di antara semua model yang pernah diuji Epoch. Software engineering berkata lain. Di sana Astra hanya meraih 163.58 pada SWE-ECI, di belakang Claude Fable 5.1 yang mencetak 167.44. Model terbaik secara keseluruhan bukanlah model terbaik untuk coding.

Angka-angka ini punya sejumlah catatan penting, dan Epoch terus terang soal itu. Tiap skor domain hanya bertumpu pada tiga hingga enam hasil benchmark, sehingga rentang keyakinannya lebar, dan estimasinya bergeser saat hasil baru masuk. Skor software engineering Astra turun 2.9 poin dalam sepuluh hari begitu lebih banyak evaluasi coding tersedia. Jadi peringkat ini potret sesaat, bukan vonis final, tetapi polanya konsisten: keunggulan di satu domain tidak berpindah mulus ke domain lain, bahkan dalam satu model frontier yang sama.

Kenapa ini penting

Kalau Anda memilih model hanya dari satu angka leaderboard, bisa jadi Anda membayar kemampuan matematika yang tak terpakai sambil melewatkan performa coding yang lebih baik di tempat lain. Sesuaikan model dengan domain yang benar-benar Anda kerjakan, dan perlakukan skor kapabilitas utama sebagai titik awal untuk diuji pada tugas Anda sendiri.