Claude bikin rsync lebih bug? Datanya bilang tidak

Proyek rsync belakangan menerima beberapa commit yang ditulis dengan bantuan Claude, dan sudut skeptis AI internet cepat-cepat menyebut hasilnya bencana. Alexis Purslane lalu memeriksa langsung. Untuk 36 rilis rsync dari v2.4.6 sampai v3.4.3, termasuk dua rilis bersentuhan Claude yaitu v3.4.2 dan v3.4.3, Purslane menilai setiap bug pakai LLM sebagai pengukur severity, lalu menjalankan permutation test eksak dan Fisher test pada angka per-rilis. Rilis Claude masuk di 0 dan 3,29 severity-weighted bug per 10 commit. Mean historisnya 2,95. P-value-nya 46% dan 74%.

Singkatnya, tidak ada sinyal statistik yang menyatakan Claude bikin rsync lebih buruk. Rilis paling berantakan dalam sampel justru v3.4.1 di angka 39,39 sev/10c, yang muncul sebelum commit Claude dan tidak memicu keributan apa pun. Purslane jujur soal batas datanya: sampelnya kecil, alat ukur severity-nya juga sebuah LLM, dan bagian metodologi menjelaskan letak noise-nya. Tapi kesimpulan utamanya tetap berdiri. "Claude releases bracket the IQR in opposite directions" dan duduk di dalam variasi normal historis.

Analisisnya ada di blog Purslane dan layak dibaca kalau kamu punya opini tentang AI di codebase C yang sudah mapan. Bagian paling menarik bukan vonisnya. Ketiadaan efek pada proyek yang prior anti-AI-nya sudah keras dari awal justru yang patut diingat.

Kenapa ini penting

Sebagian besar debat tentang kontribusi AI ke open source berjalan di atas perasaan. Kalau tim kamu sedang menimbang menerima patch yang ditulis Claude, sekarang ada template publik yang bisa diulang untuk jenis bukti yang seharusnya jadi dasar keputusan itu. Jalankan dulu di repo kamu sebelum menulis kebijakan.