Riset Princeton bedah klaim Google soal agent AI yang bangun OS $916

Stephan Rabanser, Sayash Kapoor, dan koleganya di Princeton membongkar klaim Google yang menyebut agent AI berbasis Gemini 3.5 Flash dan Antigravity 2.0 berhasil membangun sebuah sistem operasi dari "satu prompt" dengan biaya sekitar $900 untuk API. Tulisannya berbentuk daftar periksa hal-hal yang seharusnya dipenuhi sebuah evaluasi agent open-world sebelum angka headline-nya layak diberitakan sebagai hasil.

Soal pertama, prompt itu sendiri. "Satu prompt" yang dimaksud Google ternyata panjangnya ribuan baris, sehingga kontribusi model bercampur dengan kontribusi prompt engineer. Kedua, definisi otonomi. Google menulis bahwa agent tidak mendapat "tambahan panduan atau koreksi dari manusia", tetapi tidak menjelaskan apakah restart manual, percobaan ulang, atau approval termasuk hitungan panduan. Ketiga, soal kebaharuan. Sistem operasi mainan adalah tugas standar mahasiswa sarjana dengan banyak implementasi terbuka di internet, dan Google tidak memeriksa apakah agent menulis kode baru atau sekadar menyusunnya dari kode yang sudah ada. Terakhir, Google belum merilis prompt, kode, maupun log eksekusinya. Akibatnya, pihak luar tidak bisa mereplikasi pekerjaan itu atau mengaudit angka biayanya.

Penulis berhati-hati tidak menyangkal bahwa agent kini sanggup bertahan pada tugas berdurasi panjang. Argumen mereka lebih sempit, demo vendor yang datang tanpa artefak bukanlah bukti, dan pers AI seharusnya mulai memintanya.

Kenapa ini penting

Kalau Anda membaca benchmark agent untuk merencanakan pengadaan, daftar inilah yang sebaiknya Anda tuntut: prompt lengkap, log eksekusi, diff terhadap kode baseline, dan evaluasi independen. Era percaya begitu saja pada angka headline sudah waktunya berakhir.