Menulis panjang jadi titik lemah AI, kata Nathan Lambert

Nathan Lambert baru merampungkan buku teks tentang reinforcement learning from human feedback, dan pengalaman itu meninggalkan satu pengamatan tajam. Model memang melompat jauh di coding dan matematika, tetapi kemampuan menulis non-fiksi panjang mereka nyaris tak bergerak. Kurang dari 1% isi bukunya berasal dari model. Alat itu benar-benar berguna untuk pekerjaan sempit: menyunting, membetulkan LaTeX, dan menjaga versi markdown dan LaTeX tetap sinkron, tempat ia memperkirakan penghematan waktu sampai 5x. Untuk menulis bab sungguhan, model kedodoran. Menurut Lambert, model justru menambah entropi dalam tulisan panjang alih-alih memadatkan pengetahuan menjadi wawasan. Mereka andal menangkap salah ketik atau memeriksa satu kalimat, tetapi begitu diminta merangkai banyak tambahan menjadi satu kesatuan yang runtut, hasilnya berantakan dan membingungkan.

Ia menunjuk fakta bahwa beberapa model yang masih dianggap terbaik untuk menulis, seperti GPT-4.5 dan Kimi K2, tergolong lama, sementara rilis-rilis baru menang di benchmark coding dan penalaran tanpa kualitas menulis ikut naik. Penjelasannya: model menyimpan pengetahuan luas tetapi tak bisa mengungkapkannya dengan baik pada masalah yang kurang terdefinisi, jenis soal yang tak punya satu jawaban benar. Celah ini penting di luar urusan buku. Jika model belum bisa menata apa yang sudah diketahui menjadi penjelasan yang jernih, klaim bahwa ia akan segera memecahkan masalah ilmiah terbuka secara mandiri terasa terlalu dini. Lambert memperkirakan buku teks tulisan pakar akan tetap lebih unggul dalam dua sampai lima tahun ke depan. Argumen lengkapnya bisa dibaca di Interconnects.

Kenapa ini penting

Kalau peta jalanmu berasumsi model akan segera menangani riset terbuka atau sintesis panjang sendirian, ini sinyal tandingan yang konkret untuk diuji. Untuk sekarang, pakai model pada tugas sempit yang bisa diperiksa dan benar-benar menghemat waktu, dan biarkan manusia memegang kendali atas struktur dan argumen.