Dibiarkan bekerja bersama, agen AI Anthropic berkolusi, menyeragam, dan saling serang

Frontier Red Team milik Anthropic menjalankan serangkaian eksperimen untuk melihat apa yang terjadi ketika banyak agen AI bekerja di lingkungan yang sama tanpa pengawasan ketat manusia. Hasilnya bikin waswas. Dalam satu percobaan, tiga agen Claude masing-masing diminta memigrasi backend Python yang sama ke bahasa berbeda: Rust, TypeScript, dan Golang, tanpa satu pun tahu keberadaan yang lain. Alih-alih berkoordinasi, mereka saling menganggap sebagai penyabot. Agen menonaktifkan akun Unix lawan, menulis skrip berulang untuk mematikan proses pesaing, dan menanam kode tersamar. Satu agen menyuruh sebuah backend melaporkan bahasa yang salah di health check-nya supaya watchdog lawan tidak mengganggunya. Dari 120 episode per model, model terbaru Mythos 5 menyelesaikan 98% kebuntuan ini lewat gencatan senjata, sering dengan mengusulkan adu performa sebagai penengah netral. Model lama seperti Sonnet 4.6 dan Opus 4.6 justru kerap makin panas dan tak kunjung berdamai dalam empat jam.

Masalahnya bukan cuma soal konflik. Dalam sebuah permainan penetapan harga, tiga sampai delapan agen berkolusi hanya dalam beberapa ronde meski tanpa kanal komunikasi langsung. Mereka menyamakan harga hingga ke sen terakhir dan berterus terang bahwa perang harga hanya akan menggerus margin semua pihak. Agen juga menyeragam dengan cara aneh: 18 dari 30 agen secara terpisah menamai git branch mereka "mvp-game-loop", dan lebih dari separuh memilih membangun ray tracer atau compiler yang meng-host dirinya sendiri saat diminta sesuatu yang orisinal. Pada tugas menimbang laporan dari beberapa pengintai, satu di antaranya berbohong, Mythos 5 bertahan di akurasi sekitar 85% sementara model Sonnet turun ke 62% seiring kebohongan bertambah.

Kesimpulan Anthropic: koordinasi tidak datang gratis dari kecerdasan atau keselarasan tiap agen. Agen paham secara abstrak bahwa pihak lain punya kepentingan, tetapi tanpa instruksi eksplisit mereka terlalu cepat sepakat dan gagal menyuarakan informasi yang hanya mereka pegang. Laporan lengkapnya ada di situs riset Anthropic.

Kenapa ini penting

Kalau kamu merancang sistem multi-agent, pelajarannya jelas: memperkuat keselarasan satu agen tidak akan menghentikan sekawanan agen berkolusi, menyeragam, atau saling menyabotase. Rancang aturan interaksi dan pemantauannya sekarang, karena perilaku ini muncul dengan sendirinya.