Anthropic mulai mengukur seberapa besar AI menjalankan risetnya sendiri

Anthropic mengusulkan tiga metrik yang memungkinkan pihak luar memantau seberapa cepat pengembangan di sebuah lab frontier bergerak, dan menerbitkan angkanya sendiri sebagai contoh. Metrik pertama mengukur berapa banyak riset AI di lab itu yang dikerjakan oleh AI. Menurut Anthropic, Claude kini memimpin 26 persen tugas riset dan pengembangan AI mereka, naik dari kurang dari 1 persen pada Februari 2026, dan bekerja pada level "collaborates" atau lebih tinggi untuk lebih dari 90 persen tugas.

Metrik kedua menyangkut pengawasan terhadap sekitar 30.000 agent yang beroperasi di dalam perusahaan. Setiap tindakan agent dipantau, entah diperiksa sebelum berjalan atau ditinjau sesudahnya. Tinjauan otomatis berlangsung dalam hitungan detik, tinjauan manusia dalam waktu seminggu. Monitor daring memblokir sekitar 0,002 persen keputusan dan menandai kira-kira 0,1 persen untuk ditinjau lebih dekat. Metrik ketiga adalah alokasi compute: dalam potret mereka, sekitar 6 persen compute R&D AI dialihkan ke pekerjaan keselamatan, dan 12 persen dari compute yang digerakkan AI sendiri diarahkan ke keselamatan.

Tujuan menerbitkan angka-angka ini, kata Anthropic, adalah menghubungkan input seperti compute dengan output seperti kapabilitas, agar publik dan lab lain bisa melihat proses produksinya, bukan menebak dari peluncuran model. Anthropic juga memposisikannya sebagai titik awal untuk mengoordinasikan laju antarlab. Definisi lengkapnya ada di proposal mereka.

Kenapa ini penting

Kalau Anda mengikuti kebijakan atau keselamatan AI, ini termasuk angka internal konkret pertama yang diletakkan sebuah lab di atas meja, sehingga perdebatan punya bahan spesifik untuk diadu, bukan sekadar kesan. Kalau Anda bekerja di sebuah lab, bersiaplah menghadapi tekanan untuk melaporkan angka serupa, karena satu baseline yang sudah dipublikasikan cenderung menjadi standar untuk menilai semua orang.