Turbopuffer bongkar mesinnya dan turunkan vector search jadi indeks sampingan

Turbopuffer, mesin pencari yang dipakai untuk retrieval di balik aplikasi AI, menerbitkan tulisan teknik yang blak-blakan soal kenapa desain awalnya justru menahan laju mereka. Judulnya, "RIP, vector database," cukup menohok: perusahaan ini beralih dari menjadikan indeks vektor sebagai kunci utama yang menjadi pusat penyimpanan segala hal, dan mulai memperlakukan pencarian approximate nearest-neighbor (ANN) sebagai sekadar indeks sekunder.

Alasannya konkret. Saat sebuah dokumen membawa beberapa vektor sekaligus, tata letak vector-primary menggandakan semua field non-vektor sekali untuk tiap vektor, sehingga penyimpanan membengkak. Operasi tulis lebih parah: menyeimbangkan ulang vektor bisa merembet ke atribut lain dalam dokumen, jadi satu pembaruan berujung memindahkan ratusan field. Struktur lama itu juga berbenturan dengan query engine, karena tiap engine mau ukuran blok yang sangat berbeda (DuckDB bekerja dalam potongan 2.048 baris, ClickHouse sekitar 65.000, klaster ANN di kisaran ratusan rendah) dan semuanya terpaku pada kunci ANN. Turbopuffer menunjuk perombakan full-text search mereka sebelumnya sebagai bukti pendekatan baru ini membuahkan hasil: beralih dari posting berbasis batas klaster ke blok tetap 256 dokumen membuat indeks itu 10 kali lebih kecil dan sampai 20 kali lebih cepat.

Ini bukan sistem kecil. Perusahaan menyebut kini menyimpan lebih dari satu triliun dokumen, menerima lebih dari 10 juta operasi tulis per detik, dan melayani lebih dari 25.000 query per detik, dengan indeks tunggal berisi 100 miliar vektor yang menjawab baca 200 milidetik di persentil ke-99.

Kenapa ini penting

Kalau kamu menjalankan retrieval untuk produk AI, ini argumen jelas bahwa vector database murni bisa jadi penghambat begitu datamu tumbuh melewati satu vektor per baris, sekaligus sinyal untuk menimbang mesin pencari serba-guna yang menangani filter, teks, dan vektor dalam satu tempat.