Franny Hsiao, Pemimpin AI Architects EMEA di Salesforce, baru-baru ini membahas tantangan yang dihadapi dalam meningkatkan sistem AI perusahaan menjelang acara AI & Big Data Global 2026 di London. Dia menunjukkan bahwa banyak inisiatif AI gagal karena kesalahan arsitektur yang menghambat transisi mereka dari proyek percontohan ke produksi skala penuh. Sementara membuat prototipe AI generatif mungkin sederhana, memastikan mereka berfungsi dengan andal dalam konteks bisnis jauh lebih kompleks, terutama terkait dengan rekayasa data dan tata kelola.
Hsiao menjelaskan bahwa masalah umum muncul ketika pilot AI dikembangkan di lingkungan yang terkontrol, yang dapat menciptakan rasa aman yang menyesatkan. Pilot ini sering menggunakan dataset kecil yang dikurasi, mengabaikan kompleksitas data perusahaan di dunia nyata. "Kesalahan arsitektur yang paling sering adalah tidak membangun infrastruktur data yang siap produksi dengan tata kelola yang komprehensif sejak awal," katanya. Kelalaian ini dapat menyebabkan sistem yang rusak saat diperbesar, mengakibatkan celah data dan masalah kinerja yang mengompromikan keandalan solusi AI.
Untuk mengatasi tantangan ini, Hsiao menekankan pentingnya mengintegrasikan observabilitas dan tata kelola end-to-end sepanjang siklus hidup AI. Pendekatan ini memungkinkan organisasi untuk memantau efektivitas sistem AI mereka dan adopsi pengguna. Saat perusahaan menerapkan model pemikiran besar, mereka harus menyeimbangkan kedalaman komputasi model dengan kesabaran pengguna, karena komputasi berat dapat memperkenalkan latensi.
Salesforce mengatasi masalah ini melalui teknologi Agentforce Streaming, yang memungkinkan pengiriman progresif respons yang dihasilkan AI sementara komputasi berat diproses di latar belakang. Hsiao mencatat bahwa metode ini tidak hanya mengurangi latensi yang dirasakan tetapi juga meningkatkan keterlibatan dan kepercayaan pengguna melalui transparansi, seperti menampilkan indikator kemajuan selama pemrosesan.
Selain itu, Hsiao menyoroti kebutuhan yang semakin meningkat untuk kecerdasan di perangkat, terutama di industri seperti utilitas dan logistik, di mana konektivitas cloud yang terus-menerus mungkin tidak dapat dilakukan. Dengan memungkinkan teknisi untuk melakukan tugas secara offline dan kemudian menyinkronkan data setelah konektivitas dipulihkan, Salesforce bertujuan untuk memastikan kontinuitas operasional bahkan di lingkungan yang menantang. Melihat ke depan, Hsiao mengantisipasi kemajuan lebih lanjut dalam edge AI, didorong oleh manfaat seperti latensi rendah, privasi yang ditingkatkan, dan efisiensi biaya. Dia menyimpulkan bahwa masa depan AI perusahaan akan fokus pada menciptakan orkestrasi yang kuat dan infrastruktur data untuk mendukung sistem yang dapat diskalakan dan siap produksi.