Apakah grep sudah cukup? Paper baru bilang ya, dengan catatan

Paper baru oleh Sahil Sen dkk, yang diunggah ke arxiv dengan judul "Is Grep All You Need? How Agent Harnesses Reshape Agentic Search," mengadu langsung pencarian teks gaya grep dengan retrieval berbasis embedding di dalam harness LLM agent yang nyata. Temuannya jenis yang akan membuat para pengirim vector database tersinggung: grep secara konsisten mengalahkan vector di akurasi di seluruh setup yang diuji.

Eksperimennya konkret. Para penulis mengevaluasi 116 pertanyaan dari LongMemEval di empat harness, yaitu Chronos, Claude Code, Codex, dan Gemini CLI, sambil membandingkan cara output tool disajikan inline versus lewat file. Eksperimen kedua menambah riwayat percakapan tak relevan secara bertahap untuk mengukur ketahanan saat haystack makin bising. Grep tetap bertahan. Tapi temuan yang lebih besar adalah performa lebih bervariasi antar harness ketimbang antar metode retrieval, bahkan di data yang sama. Model dan cara model melihat output tool ternyata lebih menentukan dibanding algoritma pencarian yang melakukan lookup.

Paper ini tidak mengklaim vector sia-sia, dan task di sini adalah long-memory recall, bukan asosiasi semantik skala besar. Poinnya lebih sempit: kalau agent bisa menjalankan pencarian teks sendiri dengan cepat, pipeline embedding yang kamu tuning dua bulan mungkin tidak sepadan harganya.

Kenapa ini penting

Kalau kamu bangun agent, eksperimen termurah pekan ini adalah mengganti vector lookup dengan tool yang bisa dipanggil agent untuk grep, lalu mengukur apakah kualitasnya turun. Kalau kamu bangun harness, hasilnya lebih tajam: cara kamu menyajikan output tool kemungkinan lebih menentukan dibanding mesin retrieval mana yang kamu pasang.