Mengapa Sistem AI Tetap Membutuhkan Bagian yang Pasti dan Teratur
Kalimat yang disorot sedang menjelaskan satu gagasan penting: meskipun buku ini membahas agen AI dan LLM, bukan berarti semua bagian sistem harus “cerdas”, bebas, atau memakai AI. Banyak bagian perangkat lunak justru harus bekerja dengan cara yang sangat jelas, tetap, dan dapat diprediksi.
Dalam perangkat lunak tradisional, aturan biasanya ditulis secara eksplisit. Misalnya, jika pengguna menekan tombol “Kirim”, maka sistem menjalankan fungsi untuk mengirim formulir. Jika pengguna memasukkan email tanpa tanda @, maka sistem menolak input tersebut. Jika pembayaran berhasil, maka status pesanan berubah menjadi “dibayar”. Hubungan seperti ini sederhana: ada kondisi tertentu, lalu ada tindakan tertentu.
Itulah yang dimaksud dengan pola deterministik. Deterministik berarti: jika input dan kondisi awalnya sama, sistem akan menghasilkan langkah atau hasil yang sama. Ini berbeda dari LLM yang bersifat probabilistik, yaitu dapat menghasilkan jawaban yang sedikit berbeda walaupun pertanyaannya mirip, terutama jika pengaturan sampling mengizinkan variasi.
Pola “jika ini, maka itu” masih sangat penting
Bagian pertama dari kutipan berbunyi:
Jika pengguna menekan tombol tertentu, sistem menjalankan prosedur tertentu. Jika data memiliki format tertentu, sistem memprosesnya dengan aturan tertentu.
Maksudnya, banyak perangkat lunak bekerja dengan aturan yang sudah ditentukan oleh programmer. Contoh paling mudah adalah formulir pendaftaran. Jika kolom nama kosong, sistem menampilkan pesan kesalahan. Jika password terlalu pendek, sistem meminta pengguna membuat password baru. Jika semua data valid, sistem menyimpan data ke database.
Tidak ada “penalaran kreatif” di sini. Sistem tidak perlu menebak maksud pengguna. Sistem hanya mengikuti aturan. Justru karena itulah sistem semacam ini dapat dipercaya untuk tugas-tugas tertentu.
Dalam konteks agen AI, pola ini tetap dibutuhkan. Misalnya, agen boleh memakai LLM untuk memahami kalimat pengguna seperti, “Tolong cek reimbursement saya.” Namun setelah maksud pengguna dipahami, bagian-bagian penting berikutnya sebaiknya tetap dilakukan oleh kode yang jelas: memeriksa hak akses, mengambil data dari database resmi, menghitung jumlah reimbursement, dan mencatat aktivitas untuk audit.
Dengan kata lain, LLM boleh membantu memahami bahasa, tetapi tidak semua keputusan harus diserahkan kepada LLM.
Mengapa pola ini “tidak akan hilang”
Kutipan itu kemudian berkata:
Pola ini tetap penting dan tidak akan hilang.
Maksudnya, kemunculan AI tidak membuat rekayasa perangkat lunak biasa menjadi usang. Tombol, formulir, database, validasi, transaksi, pengujian, dan logging tetap menjadi fondasi sistem produksi.
Ini penting karena kadang orang membayangkan agen AI sebagai sistem yang bisa melakukan semuanya sendiri. Dalam praktik nyata, itu berbahaya. Jika agen harus menghitung total pengeluaran, lebih aman memakai fungsi matematika biasa daripada meminta LLM “menebak” dari teks. Jika agen harus menentukan apakah pengguna boleh melihat dokumen tertentu, lebih aman memakai sistem otorisasi yang jelas daripada meminta model memutuskan secara bebas. Jika agen harus mengubah database, lebih aman memakai transaksi database yang dirancang dengan benar.
Buku induk sedang membangun cara pikir ini: agen AI yang baik bukanlah LLM yang diberi kebebasan penuh, melainkan sistem perangkat lunak yang menggabungkan kemampuan bahasa LLM dengan komponen teknis yang dapat diperiksa dan dikendalikan.
Pandangan ini selaras dengan cara umum rekayasa perangkat lunak modern: sistem yang andal biasanya dibangun dari modul-modul yang jelas tanggung jawabnya, dapat diuji, dan dapat diamati ketika gagal [Sommerville 2016]. Dalam AI, pendekatan manajemen risiko seperti NIST AI Risk Management Framework juga menekankan pentingnya validitas, keamanan, akuntabilitas, dan tata kelola sepanjang siklus hidup sistem [NIST 2023].
Contoh sederhana: agen reimbursement
Bayangkan agen AI untuk tim keuangan. Pengguna menulis:
“Saya mau klaim reimbursement untuk perjalanan dinas kemarin. Bisa dicek?”
LLM berguna untuk memahami bahwa pengguna ingin memeriksa klaim reimbursement. Namun setelah itu, sistem tidak boleh hanya mengandalkan jawaban teks dari model. Sistem perlu menjalankan bagian-bagian yang lebih pasti.
Pertama, sistem memvalidasi input. Apakah tanggal perjalanan ada? Apakah nominal dimasukkan? Apakah bukti pembayaran terlampir? Jika format tanggal salah, sistem harus menolak atau meminta perbaikan. Ini contoh validasi input.
Kedua, sistem memeriksa autentikasi dan otorisasi. Autentikasi menjawab pertanyaan: “Siapa pengguna ini?” Otorisasi menjawab pertanyaan: “Apakah pengguna ini boleh mengakses atau melakukan tindakan ini?” Seorang karyawan mungkin boleh melihat klaim miliknya sendiri, tetapi tidak boleh melihat klaim semua karyawan.
Ketiga, sistem mengambil aturan reimbursement dari sumber resmi. Jika kebijakan mengatakan bahwa biaya hotel maksimal Rp1.000.000 per malam, maka sistem harus membandingkan angka klaim dengan aturan tersebut secara jelas. Ini sebaiknya dilakukan oleh kode atau aturan bisnis yang dapat diuji, bukan oleh perkiraan bebas.
Keempat, sistem mencatat aktivitas. Misalnya: pengguna A mengajukan klaim, sistem memeriksa aturan B, hasilnya C, lalu klaim dikirim ke manajer untuk persetujuan. Catatan seperti ini penting untuk audit.
Dalam contoh ini, LLM membantu komunikasi dan interpretasi bahasa. Tetapi komponen deterministik memastikan bahwa sistem tetap aman, konsisten, dan dapat diperiksa.
Makna tiap komponen dalam kutipan
Kutipan menyebut beberapa contoh komponen deterministik: validasi input, transaksi database, antrean kerja, autentikasi, otorisasi, logging, dan pengujian otomatis. Ini bukan sekadar daftar teknis; semuanya adalah bagian yang membuat sistem produksi lebih dapat dipercaya.
Validasi input memastikan data yang masuk sesuai bentuk yang diharapkan. Jika sistem meminta angka, pengguna tidak boleh mengirim teks sembarang. Jika sistem meminta email, formatnya harus masuk akal.
Transaksi database memastikan perubahan data terjadi secara aman. Misalnya, dalam transfer uang, saldo pengirim berkurang dan saldo penerima bertambah. Keduanya harus berhasil bersama, atau jika ada kegagalan, keduanya dibatalkan. Prinsip seperti ini dikenal dalam sistem database transaksional [Gray and Reuter 1993].
Antrean kerja membantu sistem menangani tugas yang tidak harus selesai saat itu juga. Misalnya, mengirim email, memproses dokumen besar, atau menjalankan analisis panjang. Tugas dimasukkan ke antrean, lalu diproses secara teratur.
Autentikasi memastikan identitas pengguna. Contohnya login dengan password, SSO, atau token API.
Otorisasi memastikan batas izin. Pengguna yang sudah login belum tentu boleh melakukan semua hal. Seorang staf mungkin boleh membuat draf refund, tetapi hanya manajer yang boleh menyetujuinya.
Logging berarti mencatat peristiwa penting. Jika sistem gagal atau disalahgunakan, log membantu engineer menelusuri apa yang terjadi.
Pengujian otomatis membantu memastikan perubahan kode tidak merusak fungsi yang sudah berjalan. Dalam sistem agen AI, pengujian otomatis tetap penting, meskipun beberapa bagian sistem memakai model probabilistik.
Inti sederhananya
Kalimat yang disorot ingin mengatakan: AI tidak menggantikan dasar-dasar rekayasa perangkat lunak. Justru, agen AI yang baik membutuhkan dasar-dasar itu lebih kuat.
LLM cocok untuk hal-hal seperti memahami bahasa alami, menyusun respons, merangkum dokumen, atau membantu memilih langkah awal ketika input tidak rapi. Tetapi untuk hal-hal yang membutuhkan kepastian, seperti menghitung angka, memeriksa izin, menyimpan data, menjalankan transaksi, dan mencatat jejak audit, sistem sebaiknya memakai komponen deterministik yang jelas.
Jadi maksud sederhananya begini: agen AI produksi bukan hanya model pintar; ia adalah perangkat lunak lengkap. Bagian AI membantu menghadapi bahasa dan konteks yang bervariasi, sedangkan bagian deterministik menjaga sistem tetap aman, benar, dan dapat dipercaya.
References
Gray, J., & Reuter, A. (1993). Transaction Processing: Concepts and Techniques. Morgan Kaufmann.
NIST. (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology. https://doi.org/10.6028/NIST.AI.100-1
Sommerville, I. (2016). Software Engineering (10th ed.). Pearson.
Russell, S., & Norvig, P. (2021). Artificial Intelligence: A Modern Approach (4th ed.). Pearson.