Berkendara di Uber yang mengemudi sendiri melalui pusat kota Los Angeles dapat menimbulkan rasa tidak nyaman ketika kendaraan beroperasi tanpa pengemudi manusia. Ketidaknyamanan ini menyoroti masalah kritis dengan otonomi: ketidakcocokan antara kepercayaan mesin dan penilaiannya. AI perusahaan saat ini sering mencerminkan pengalaman ini, efisien namun kurang empati. Oleh karena itu, kunci keberhasilan penerapan AI bukan hanya kemampuan teknologi tetapi juga pembentukan kepercayaan.
Menurut laporan MLQ State of AI in Business 2025, 95% dari inisiatif AI awal gagal memberikan pengembalian investasi yang terukur. Kegagalan ini bukan disebabkan oleh teknologi yang tidak memadai tetapi lebih kepada ketidakcocokan antara kemampuan AI dan masalah yang ingin diatasi oleh organisasi. Para pemimpin sering merasa tidak yakin tentang keandalan keluaran AI, yang mengarah pada ketidakpercayaan di antara tim dan frustrasi di antara pelanggan, terutama ketika sistem otomatis gagal memberikan hasil yang memuaskan.
Klarna mencerminkan kompleksitas otomatisasi, telah mengurangi tenaga kerjanya setengah sejak 2022 sambil mengklaim bahwa sistem AI-nya kini melakukan pekerjaan 853 karyawan penuh waktu. Meskipun ada peningkatan pendapatan sebesar 108% dan kenaikan 60% dalam kompensasi rata-rata karyawan, Klarna melaporkan kerugian kuartalan sebesar $95 juta, menunjukkan bahwa otomatisasi tidak menjamin stabilitas. Seperti yang dicatat oleh Jason Roos, CEO Cirrus, setiap transformasi yang merusak kepercayaan dapat memiliki biaya yang signifikan.
Konsekuensi dari otonomi yang tidak terkontrol terlihat di Departemen Pekerjaan dan Pensiun Inggris, yang menggunakan algoritma yang secara keliru menandai 200.000 klaim tunjangan perumahan yang sah sebagai penipuan. Insiden ini menekankan pentingnya akuntabilitas dalam sistem otomatis. Ketika kesalahan terjadi, pertanyaan kritis bukan hanya mengapa AI gagal tetapi siapa yang bertanggung jawab atas hasilnya.
Artikel ini menekankan perlunya kesiapan sebelum menerapkan AI. Organisasi harus menetapkan proses yang jelas, tata kelola data, dan akuntabilitas sebelum mengejar otomatisasi. Tanpa elemen dasar ini, risiko yang terkait dengan sistem otonom dapat melebihi manfaatnya. Kepercayaan pada AI hanya dapat dibangun melalui transparansi dan pengawasan manusia, memastikan bahwa teknologi melengkapi, bukan menggantikan, penilaian manusia.