Epoch mengukur kenapa konteks panjang terasa lebih lambat di GPT dibanding Claude

Epoch AI mengukur sesuatu yang sering dirasakan developer tapi jarang diangkakan: berapa lama sebuah model mengembalikan token pertamanya saat isi context window makin banyak. Mereka menguji empat model frontier hingga sekitar satu juta token dan menemukan dua keluarga model berperilaku berbeda. GPT-5.6 Terra dan Sol melambat secara kuadratik, jadi setiap tambahan blok token memakan latency lebih besar daripada blok sebelumnya. Claude Sonnet 5 dan Opus 5 melambat nyaris linear, menambah penalti yang kira-kira tetap per token berapa pun penuhnya context saat itu.

Selisihnya kecil di ukuran sekarang dan besar di ukuran mendatang. Pada context satu juta token, menambah 10.000 token lagi menghabiskan 0,129 detik untuk Sonnet dan 0,324 detik untuk Sol, beda yang nyata tapi masih tertahankan. Diekstrapolasi ke sepuluh juta token, model GPT akan menambah 1,66 hingga 2,20 detik per 10.000 token, sementara overhead Claude tetap datar. Epoch menjalankan 262 request dan memverifikasi hasilnya dengan tiga metode statistik terpisah, lalu membaca polanya sebagai pilihan arsitektur: Anthropic tampak menaruh usaha pada efisiensi konteks panjang, sedangkan OpenAI menerima biaya kuadratik dan bersandar pada context compression, itulah sebabnya Codex memadatkan konteks sebelum 272.000 token meski secara nominal mendukung jauh lebih besar. Analisis mereka ada di sini.

Kenapa ini penting

Kalau Anda membangun agent yang membawa riwayat panjang, temuan ini menunjukkan di mana sebaiknya menyimpan memori: scaling linear membuat murah untuk membiarkan riwayat tetap di dalam context, sedangkan scaling kuadratik mendorong Anda memakai memori eksternal dan pemadatan yang agresif. Uji dulu latency token pertama pada ukuran context Anda sendiri sebelum memilih satu model untuk loop yang berjalan lama.