LLM masih goyah menilai apakah sebuah ide riset benar-benar baru

Ketika orang mulai memakai AI untuk memunculkan ide riset lalu memakai AI lagi untuk menentukan ide mana yang baru, tim di Allen Institute for AI mengajukan pertanyaan mendasar: bisakah sebuah language model menilai secara andal apakah sebuah ide riset itu baru? Jawaban mereka, dalam riset yang terbit 27 Oktober berjudul "Old Ideas, Novel Problems," sebagian besar tidak bisa. Tim menambang ulasan peer review ICLR 2026 untuk komentar eksplisit soal orisinalitas, menyusun satu kumpulan berisi 154 ide manusia yang benar-benar baru dan satu lagi berisi 145 ide yang lebih lemah, lalu menguji enam juri termasuk GPT-5.4 dan Claude Opus 4.6.

Hasilnya rapuh dengan cara yang semestinya mencemaskan siapa pun yang membangun pipeline sains otomatis. Perubahan kecil pada prompt mengubah putusan. Pada pasangan yang mencampur ide manusia dengan ide buatan AI, akurasi GPT-5.4 jatuh dari 93,5% menjadi 40,9%, di bawah tebakan acak, setelah prompt disederhanakan, dan mengubah penilaiannya pada lebih dari separuh pasangan. Tak ada satu prompt pun yang terbaik di semua model, dan membandingkan dua generator AI satu sama lain adalah kondisi paling tidak stabil. Menambah compute tidak menolong: juri agentic GPT-5.6 Sol mencetak 0,78 macro-F1 sementara prompt Claude Opus 4.6 yang sederhana mencetak 0,89 dengan biaya sekitar sepersepuluhnya. Alat pengecek kebaruan yang dibuat khusus justru lebih buruk dan jauh lebih mahal, satu di antaranya hanya mencapai 0,64 dengan biaya lebih dari $30 per putaran, dibanding $2,59 untuk prompt sederhana tadi.

Temuan tajamnya: juri yang tampak tepercaya pada riset manusia bisa gagal pada ide tulisan AI, padahal di situlah orang paling ingin memakainya. Ai2 merilis benchmark, data, dan kode agar pihak lain bisa menguji evaluator mereka sendiri.

Kenapa ini penting

Kalau alur kerja Anda memakai LLM untuk menyaring ide riset atau proposal mana yang layak dikejar, anggap penilaian kebaruannya tidak stabil, terutama untuk ide buatan AI, dan kunci dulu susunan prompt yang dipakai sebelum memercayai skor apa pun. Model umum yang murah dengan prompt yang baik mengalahkan alat kebaruan khusus di sini, jadi membayar lebih mahal tidak menjamin keandalan.