Mengapa kebanyakan pilot RAG enterprise macet di minggu ketiga
Demo berjalan mulus di beberapa PDF bersih, ruangan terkesan, lalu kumpulan dokumen asli datang: hasil scan, sel yang digabung, kontrak berusia sepuluh tahun, dan tiga bahasa. Di titik inilah kebanyakan pilot berhenti diam-diam.
Apa yang terjadi
Pola ini konsisten di deployment yang kami pantau. Minggu pertama adalah demo di dokumen pilihan. Minggu kedua integrasi dengan model identitas dan permission klien. Minggu ketiga ketika seseorang mengarahkan sistem ke penyimpanan dokumen yang sesungguhnya — dan kualitas jawabannya runtuh.
Mengapa penting bagi tim deployment
Kegagalannya hampir tidak pernah di model. Ada di parsing: tabel menjadi teks yang tak terbaca, halaman scan tidak menghasilkan apa pun, dan chunk yang memisahkan sebuah klausa dari pengecualiannya. Retrieval lalu mengembalikan konteks yang salah dengan percaya diri, dan model melakukan apa yang diperintahkan.
Yang bisa dilakukan sekarang
Anggarkan pilot untuk dokumen, bukan model. Parse 200 file nyata yang representatif sebelum menjanjikan apa pun, ukur context precision pada sampel itu, dan jadikan chunking langkah yang terlihat serta bisa dikoreksi, bukan default library.
Yang bisa Anda lakukan sekarang
- Parse 200 dokumen nyata sebelum menetapkan tanggal
- Buat chunking bisa diperiksa, bukan default library
- Ukur faithfulness, bukan perasaan