Sprint dua minggu bikin Claude.ai tiga kali lebih cepat

Tim web Anthropic menghabiskan dua minggu di akhir Agustus untuk membedah kecepatan Claude.ai, dan tulisan Raymond Wang, Sam Attard, dan Issac G. menjelaskan dengan gamblang cara mereka melakukannya. Angkanya besar: muat awal Claude.ai di persentil ke-75 turun dari 3,1 ke 0,55 detik, sekitar 5,6x, cold start aplikasi desktop hampir separuh lebih cepat, dan waktu mulai sesi Claude Code turun dari 0,84 ke 0,35 detik. Di empat alur pengguna utama, yang mencakup sekitar 95 persen aktivitas, mereka mengklaim peningkatan 3x dan puluhan ribu jam-pengguna yang dihemat setiap hari.

Metodenya adalah bagian yang menarik, dan bisa dirangkum dalam satu kalimat: begitu Claude bisa mengukur sesuatu, ia bisa membuatnya lebih cepat. Alih-alih mengejar wall-clock yang penuh derau, tim membangun benchmark deterministik dengan memakai jumlah instruksi, jumlah panggilan V8, React commit, dan mutasi DOM sebagai target yang bisa dioptimasi model, lalu mencocokkan kemenangan di lab dengan data lapangan nyata. Dalam satu kasus, memangkas instruksi CPU sebesar 48 persen sejalan dengan percepatan wall-clock 78 persen. Prosesnya berjalan sebagai perulangan di lebih dari 150 thread Slack: temukan interaksi yang lambat, minta Claude membuat benchmark dan menelusurinya, kirim perubahan kecil di balik feature flag, verifikasi setelah deploy, lalu kunci hasilnya dengan benchmark bertingkat supaya tidak melorot lagi.

Sejumlah pengaman menahan tiga ribu perubahan yang di-merge agar tidak memicu insiden: unit test, review otomatis dengan persetujuan manusia, rollout bertahap, serta tes layout-shift dan keystroke untuk menangkap regresi visual atau hilangnya data. Satu perbaikan nyaris lucu, tulis mereka: em dash di dalam blok kode memicu penanganan UTF-16 yang memperlambat syntax highlighting sampai satu detik penuh, diperbaiki hanya dengan dua puluh baris.

Kenapa ini penting

Kalau kamu memegang performa sebuah web app, ide yang bisa ditiru adalah benchmark deterministik bertingkat: pilih metrik proksi yang bisa dioptimasi model atau CI tanpa pengukuran waktu yang labil, lalu cegah regresi secara otomatis. Ini juga menunjukkan optimasi berbasis agent berjalan dalam skala besar bila pengukuran dan keamanan rollout-nya kokoh, dan justru bagian itulah yang sulit ditiru, bukan modelnya.