OpenAI membangun ulang backend Git-nya agar satu monorepo raksasa tetap cepat

Kode sumber sebuah perusahaan terasa membosankan sampai ia berhenti bekerja, dan OpenAI mengatakan kira-kira itulah yang menimpa monorepo mereka. Dalam Scaling Git at OpenAI, para engineer Aaron Friel, Taylor Blau, dan Ted Nyman memaparkan bagaimana sistem penopang repositori besar tunggal itu mulai goyah sekitar akhir tahun lalu: fetch dan push melambat, dan keandalannya kadang turun di bawah 90%. Untuk basis kode yang disentuh tiap engineer setiap hari, itu beban bagi seluruh perusahaan.

Jawaban mereka adalah backend baru bernama Pando, yang kini menangani semua pengembangan di monorepo. Bagian menariknya justru yang tidak berubah: engineer tetap memakai Git persis seperti sebelumnya, dan tim mengatakan mereka memindahkan semua orang ke Pando tanpa mengganggu pekerjaan yang sedang berjalan. Desainnya mengincar dua hal yang saling tarik-menarik, yaitu write yang bisa diskalakan secara horizontal agar banyak orang bisa push ke banyak branch sekaligus, dan read throughput tinggi agar klien bisa memakai seluruh bandwidth jaringan yang tersedia. Mekanismenya berupa skema packfile berlapis. Tiap push mendarat sebagai packfile kecil "L0," dan worker latar belakang terus menggabungkannya menjadi "cover" yang makin besar, dengan monorepo naik sampai L4. OpenAI melaporkan paralelisme yang lebih tinggi, keandalan merge yang lebih baik, dan penerbitan perubahan yang lebih cepat sebagai hasilnya.

Catatan yang menatap ke depan layak disorot: OpenAI mengatakan kini sedang menjajaki Pando untuk beban kerja saat banyak agent berkolaborasi di satu Git repository bersama, bukan hanya engineer manusia.

Kenapa ini penting

Kalau kamu mengelola monorepo besar, bottleneck spesifik di sini, yaitu push bersamaan dan bandwidth read, kemungkinan akan kamu temui juga, dan pendekatan packfile berlapis ini pola konkret untuk dipelajari. Sudut agent adalah permainan jangka panjangnya: Git dirancang untuk manusia yang push beberapa kali sehari, dan tim tooling perlu mulai memikirkan bentuknya ketika armada agent melakukan commit secara paralel.