Laporan terbaru dari Deloitte telah membunyikan alarm mengenai penerapan cepat agen AI oleh bisnis, yang terjadi pada kecepatan yang melebihi pembentukan protokol keamanan yang memadai. Adopsi yang cepat ini telah menimbulkan kekhawatiran yang semakin besar seputar keamanan, privasi data, dan akuntabilitas.
Survei menunjukkan bahwa sistem AI beralih dari program percobaan ke produksi penuh jauh lebih cepat daripada kerangka manajemen risiko tradisional dapat beradaptasi. Saat ini, hanya 21% organisasi yang telah menerapkan tata kelola atau pengawasan ketat untuk agen AI, meskipun jumlah perusahaan yang menggunakan teknologi ini diproyeksikan akan meningkat secara signifikan dari 23% menjadi 74% dalam dua tahun ke depan.
Deloitte tidak menganggap agen AI sebagai sesuatu yang secara inheren berbahaya; sebaliknya, mereka menunjukkan bahwa risiko berasal dari konteks dan tata kelola yang tidak memadai. Ketika agen AI beroperasi secara independen, proses pengambilan keputusan mereka dapat menjadi tidak jelas. Tanpa tata kelola yang kuat, mengelola sistem ini menjadi tantangan, dan mengasuransikan terhadap kesalahan hampir tidak mungkin.
Ali Sarrafi, CEO dan Pendiri Kovant, mendukung model otonomi yang dikelola. Dia menyarankan bahwa agen yang dirancang dengan baik, dengan batasan dan kebijakan yang jelas, dapat beroperasi secara efektif dalam batasan yang ditentukan sambil mengeskalasi keputusan kepada manusia ketika diperlukan. Pendekatan ini dapat mengubah agen AI dari sistem yang misterius menjadi entitas yang transparan yang dapat diaudit dan dipercaya.
Seiring dengan diperkirakan percepatan adopsi agen AI, perusahaan yang memprioritaskan visibilitas dan kontrol daripada sekadar kecepatan dalam penerapan kemungkinan akan mendapatkan keunggulan kompetitif. Meskipun agen AI mungkin unggul dalam lingkungan yang terkontrol, mereka sering menghadapi tantangan dalam aplikasi dunia nyata di mana data dapat tidak konsisten dan sistem terfragmentasi. Sarrafi menekankan perlunya sistem kelas produksi yang membatasi ruang lingkup pengambilan keputusan untuk meningkatkan prediktabilitas dan kontrol, sehingga memfasilitasi deteksi awal kegagalan dan meminimalkan risiko.
Laporan Deloitte menekankan pentingnya struktur tata kelola yang kuat yang mendefinisikan batasan operasional untuk agen AI. Ini termasuk otonomi bertingkat di mana agen awalnya hanya dapat menyarankan tindakan, memerlukan persetujuan manusia untuk keputusan yang signifikan. Selain itu, melatih karyawan tentang potensi risiko yang terkait dengan sistem AI sangat penting untuk menjaga keamanan dan kepatuhan. Pada akhirnya, tata kelola yang efektif dan pemahaman bersama sangat penting untuk penggunaan agen AI yang aman dan akuntabel di lingkungan bisnis.