Memilih vector store: empat pertanyaan yang menuntaskannya

Mengapa tabel benchmark menyesatkan

Hampir semua perbandingan yang Anda temukan mengukur recall dan query per detik di dataset publik tanpa filter metadata. Aplikasi Anda punya korpus spesifik, filter selektif di sebagian besar query, dan budget latensi yang termasuk jaringan serta reranking. Dalam kondisi itu, peringkat di tabel benchmark sering berbalik.

Ini bukan argumen menolak pengukuran. Ini argumen untuk mengukur hal yang benar-benar akan Anda jalankan.

Pertanyaan satu: seberapa besar korpusnya, sudah diukur?

Hitung chunk, bukan dokumen, lalu kalikan dimensi dan presisi untuk mendapatkan jejak memori kasar. Kalau hasilnya nyaman masuk ke memori mesin yang sudah Anda jalankan, opsi single-node akan lebih sederhana dan lebih murah daripada yang terdistribusi. Banyak tim mengadopsi store terdistribusi bertahun-tahun sebelum membutuhkannya, dan membayarnya dalam permukaan operasional, bukan uang.

Pertanyaan dua: apakah sebagian besar query membawa filter?

Inilah pertanyaan yang memisahkan store-store tersebut. Kalau setiap query dibatasi tenant, permission, atau recency, Anda butuh filtering di dalam indeks, bukan setelah pencarian, dan Anda harus menguji dengan selektivitas filter yang nyata. Store yang tampak cepat di pencarian tanpa filter bisa hancur saat sembilan puluh sembilan persen kandidat dikeluarkan.

Pertanyaan tiga: siapa yang mengoperasikannya?

Jujur soal on-call. Kalau tak ada yang mau menjalankan sistem terdistribusi, layanan terkelola atau ekstensi database yang sudah Anda operasikan adalah jawaban yang benar, terlepas dari siapa yang menang perbandingan throughput. Store termurah adalah yang tak membuat tim Anda terbangun tengah malam.

Pertanyaan empat: berapa biaya keluarnya?

Sebelum berkomitmen, ketahui bagaimana Anda akan pergi. Bisakah vektor diekspor dan dibangun ulang di tempat lain? Apakah bahasa query-nya portabel, atau SDK sudah memiliki kode Anda? Store yang murah masuk dan mahal keluar adalah liabilitas yang muncul tepat di saat yang salah — saat Anda punya trafik tapi tak punya daya tawar.

Cara menjalankan tesnya

Ambil dua ratus query nyata dengan filter permission aslinya. Muat korpus Anda yang sebenarnya ke dua store kandidat. Ukur latensi end-to-end dari aplikasi Anda, recall pada k yang akan Anda pakai, dan langkah operasional untuk menambah satu juta vektor. Satu sore melakukan ini mengalahkan tabel publik mana pun.