Sebelum agent menyentuh data produksi: checklist guardrail
Risikonya bukan model mengatakan sesuatu yang salah. Risikonya agent melakukan sesuatu yang salah — dengan kredensial, di sistem yang tak punya tombol undo.
Mengapa agent adalah kategori risiko berbeda
Chatbot yang berhalusinasi menghasilkan kalimat salah. Agent dengan akses tool menghasilkan efek samping: satu record diperbarui, email terkirim, satu baris terhapus. Permukaan kegagalannya bukan lagi kualitas teks, melainkan radius ledakan dari tindakannya. Itu sebabnya kontrol yang penting di sini lebih mirip keamanan infrastruktur daripada prompt engineering.
Cek satu: apa yang benar-benar bisa dijangkaunya
Tuliskan setiap tool yang bisa dipanggil agent dan apa yang bisa dilakukan masing-masing terhadap state. Kebanyakan tim menemukan di langkah ini bahwa helper read-only berbagi kredensial dengan sesuatu yang menulis. Batasi kredensial per tool, bukan per agent, dan utamakan token yang kedaluwarsa.
Cek dua: adakah gerbang pada tindakan irreversible
Klasifikasikan setiap tindakan sebagai reversibel, reversibel-dengan-usaha, atau ireversibel. Apa pun di ember ketiga butuh langkah konfirmasi manusia yang tak bisa dilewati instruksi cerdas dalam konten yang sedang dibaca agent. Catat bahwa input tak terpercaya bukan hanya prompt pengguna — tapi juga dokumen, halaman web, dan hasil tool yang dikonsumsi agent.
Cek tiga: bisakah Anda memutar ulang apa yang terjadi
Anda butuh trace setiap tool call beserta argumen dan hasilnya, disimpan cukup lama untuk merekonstruksi insiden. Saat ada yang salah, pertanyaannya bukan apa yang dikatakan model, melainkan apa yang dilakukannya dan dalam urutan apa.
Cek empat: adakah budget
Batasi langkah, token, waktu dinding, dan uang per run. Loop yang lepas kendali adalah insiden agent paling umum, dan murah untuk dicegah. Tampilkan batasnya di produk agar pengguna melihat limit, bukan hang.
Cek lima: apa yang terjadi saat output cacat
Definisikan jalur gagalnya sebelum Anda membutuhkannya. Kalau agent mengembalikan tool call yang tak bisa di-parse, apakah ia retry, bertanya ke pengguna, atau berhenti? Retry selamanya secara senyap dan menyerah secara senyap sama-sama default yang buruk; pilih satu secara sadar dan catat.
Cek enam: bisakah satu orang mematikannya
Harus ada satu saklar yang menghentikan semua aktivitas agent tanpa deploy. Ini terdengar jelas dan sering absen, karena agent cenderung dideploy sebagai fitur di dalam sistem lain, bukan sebagai layanan dengan kill switch sendiri.
Yang bisa Anda lakukan sekarang
- Risiko agent adalah radius ledakan tindakan, bukan kebenaran teks
- Batasi kredensial per tool dan pasang gerbang tak-terlewati pada tindakan ireversibel
- Simpan trace tool call beserta argumen dan hasil — insiden direkonstruksi dari tindakan, bukan output
- Batasi langkah, token, waktu, dan uang per run, serta sediakan satu saklar yang menghentikan semuanya