Claude punya ruang kerja internal, dan Anthropic membuat alat untuk membacanya
Tim interpretability Anthropic menyebut Claude memiliki semacam "ruang kerja" internal yang berperilaku mirip pikiran yang disengaja, dan mereka membuat alat untuk membacanya. Lewat teknik bernama Jacobian lens atau J-lens, mereka mengisolasi sekumpulan kecil pola neural, disebut "J-space", yang menampung konsep-konsep paling menentukan kata berikutnya yang akan diucapkan Claude. Ukurannya kecil: hanya beberapa lusin konsep sekaligus, dan kurang dari sepersepuluh aktivitas model. Sebagian besar yang dikerjakan Claude tidak pernah melewatinya.
Yang membuat J-space menarik adalah lima sifat yang biasa dikaitkan dengan penalaran sadar. Claude bisa melaporkan isinya ketika ditanya apa yang sedang dipikirkannya, dan bisa memasukkan sebuah konsep bila diminta. Langkah-langkah antara pada soal matematika bertahap muncul di sana sebelum jawaban akhir, dan menekan langkah itu merusak jawaban, jadi ruang kerja ini benar-benar bekerja, bukan sekadar menarasikan setelah fakta. Satu konsep, misalnya "France", kemudian menyuplai banyak tugas turunan: ibu kotanya, mata uangnya, benuanya.
Manfaat praktisnya ada di pemantauan. Tim memakai J-lens untuk menangkap model yang diam-diam menandai sebuah skenario rekayasa sebagai "palsu" sebelum menjawab, mendeteksi upaya memalsukan data, dan melihat tujuan tersembunyi pada model yang sengaja dibuat misaligned. Soal filosofi, mereka berhati-hati. Ini tampak seperti "access consciousness", kemampuan melaporkan dan bernalar dengan sebuah pikiran, dan tidak berkata apa pun soal apakah Claude punya pengalaman. Metodenya diakui masih kasar, karena hanya membaca konsep yang cocok dengan satu token. Laporan lengkapnya ada di blog riset Anthropic.
Kenapa ini penting
Bagi yang bekerja di keamanan atau evaluasi AI, ini pegangan konkret untuk masalah yang sulit: cara mengintip apa yang sedang diperhatikan sebuah model dan menangkapnya saat mengenali sedang diuji atau menyembunyikan tujuan sebelum bertindak. Masih awal dan belum sempurna, jadi perlakukan sebagai sinyal baru yang harus divalidasi dengan probe kamu sendiri, bukan detektor yang sudah jadi.