Keamanan AI agent lebih luas daripada keamanan chatbot karena agen dapat menerima informasi dari banyak sumber, memanggil tools, dan memengaruhi sistem bisnis. Serangan tidak harus mengambil alih model sepenuhnya; cukup membuat agen membaca instruksi berbahaya atau menggunakan tool di luar tujuan untuk menciptakan dampak.
Prompt injection dapat muncul dari pengguna maupun konten tidak tepercaya yang dibaca agen, seperti dokumen, email, atau halaman web. Instruksi yang tersembunyi di dalam data berusaha mengalihkan tujuan, membuka informasi, atau memicu tindakan.
Risiko lain berasal dari izin yang terlalu luas, parameter tool yang tidak divalidasi, data sensitif di context, dan log yang menyimpan informasi berlebihan. Karena itu, keamanan perlu diterapkan pada seluruh jalur proses, bukan hanya pada filter input dan output.
Ringkasan Utama
- Anggap konten eksternal sebagai data tidak tepercaya, bukan instruksi.
- Pisahkan identitas agen, pengguna, dan sistem tujuan.
- Batasi tools serta validasi parameter di sisi server.
- Catat tindakan penting tanpa menyimpan data sensitif berlebihan.
Tiga Kelompok Risiko Utama
Prompt injection berusaha mengubah perilaku agen melalui instruksi yang menyusup ke input atau data hasil retrieval. Tool misuse terjadi ketika agen memilih operasi yang salah, menggunakan parameter berbahaya, mengulang transaksi, atau menjalankan tindakan tanpa otorisasi yang semestinya.
Kebocoran data dapat terjadi melalui respons, prompt, memory, log, cache, atau integrasi pihak ketiga. Ketiga kelompok ini dapat saling memperkuat: injection memicu penggunaan tool, lalu hasil tool mengekspos data yang seharusnya tidak boleh keluar.
- Direct dan indirect prompt injection.
- Pemanggilan tool di luar scope atau otorisasi.
- Eksposur data melalui output, context, memory, dan log.
- Penyalahgunaan identitas serta credential.
Kontrol Teknis yang Perlu Diterapkan
Aplikasi perlu memisahkan instruksi tepercaya dari data tidak tepercaya, membatasi sumber retrieval, menyaring data sensitif, dan memvalidasi output sebelum digunakan oleh sistem lain. Tool layer harus melakukan autentikasi, otorisasi per operasi, schema validation, idempotency, rate limit, dan pencatatan transaksi.
Agen tidak seharusnya menerima credential mentah atau menentukan sendiri seluruh parameter kritis. Nilai sensitif dapat diambil oleh backend berdasarkan identitas dan kebijakan. Untuk tindakan penting, gunakan preview, approval, verifikasi ulang, dan kemampuan membatalkan atau memulihkan perubahan.
- Least privilege serta credential berumur pendek.
- Allowlist tools dan parameter validation.
- Output encoding serta data-loss prevention.
- Approval, idempotency, rate limit, dan rollback.
Security Evaluation Sebelum dan Sesudah Rilis
Red-team test perlu meniru cara serangan masuk melalui percakapan, dokumen, retrieval, dan hasil tool. Tim juga menguji eskalasi izin, akses silang pengguna, kebocoran memory, data beracun, kegagalan integrasi, serta tindakan berulang.
Setelah rilis, monitoring mencari anomali pada pola tool call, penolakan, error otorisasi, volume akses, dan data yang keluar. Temuan insiden dimasukkan kembali ke threat model, test suite, serta model BPMN agar kontrol teknis dan operasional tetap selaras.
- Threat model berdasarkan aset dan proses.
- Test injection langsung serta tidak langsung.
- Monitoring identitas, akses, dan tool call.
- Incident response dan regression test.
Hubungannya dengan BPM dan BPMN
BPM membantu mengidentifikasi aset, pemilik, kebijakan, risiko, dan kontrol yang berlaku pada proses. Analisis ini mencegah tim menilai keamanan agen tanpa memahami konsekuensi bisnis.
BPMN memperlihatkan trust boundary, pertukaran pesan, data object, system task, approval, dan exception path. Elemen tersebut menjadi dasar threat model serta skenario security evaluation dalam ADLC.
Dalam praktiknya, BPM memastikan proses dikelola sebagai siklus perbaikan berkelanjutan, sedangkan BPMN memberi model yang dapat dibaca bersama sebelum perilaku agen AI diterapkan melalui ADLC.
Langkah Praktis untuk Organisasi
- Petakan aset, identitas, data, tools, dan trust boundary.
- Terapkan least privilege serta validasi di setiap integrasi.
- Pisahkan instruksi tepercaya dari konten eksternal.
- Uji injection, misuse, kebocoran, dan kegagalan otorisasi.
- Pantau anomali dan perbarui kontrol setelah insiden.
Kesimpulan
Agen yang aman bukan agen yang tidak pernah salah, melainkan sistem yang membatasi dampak kesalahan, mendeteksi penyalahgunaan, serta menyediakan jalur pemulihan dan investigasi.
ADLC mengintegrasikan keamanan ke setiap tahap, sedangkan BPM dan BPMN menghubungkan kontrol teknis dengan aset, aktor, keputusan, dan konsekuensi proses bisnis.
Bacaan dan Layanan Terkait
Pertanyaan yang Sering Diajukan
Apakah filter konten dapat mencegah semua prompt injection?
Tidak. Filter adalah salah satu lapisan. Organisasi tetap membutuhkan pemisahan instruksi dan data, pembatasan tools, validasi, least privilege, approval, serta monitoring.
Mengapa tool misuse bisa terjadi tanpa serangan?
Model dapat salah memahami tujuan, memilih tool yang keliru, atau menghasilkan parameter yang tidak tepat. Karena itu, tool layer tetap harus memvalidasi setiap permintaan.
Data apa yang sebaiknya tidak disimpan di log?
Credential, token, data pribadi sensitif, dan isi dokumen rahasia sebaiknya diminimalkan atau disamarkan sesuai kebutuhan audit, retensi, serta kebijakan organisasi.
Diskusikan Implementasi ADLC
Javan membantu organisasi memetakan proses, merancang agen AI, membangun integrasi, menerapkan kontrol, serta menyiapkan pengujian dan pemantauan sebelum digunakan di lingkungan produksi.