Investasi AI di kawasan Asia Pasifik sedang meningkat, namun banyak perusahaan yang kesulitan untuk mendapatkan nilai dari inisiatif AI mereka. Salah satu faktor signifikan yang berkontribusi pada tantangan ini adalah ketidakcukupan infrastruktur yang ada, yang sering kali gagal mendukung kecepatan dan skala yang diperlukan untuk aplikasi AI di dunia nyata. Penelitian menunjukkan bahwa banyak proyek tidak memenuhi harapan pengembalian investasi (ROI) mereka, bahkan setelah investasi substansial dalam alat AI generatif, terutama karena keterbatasan infrastruktur.
Pentingnya infrastruktur AI ditekankan oleh dampaknya terhadap kinerja, biaya, dan skalabilitas penerapan di seluruh kawasan. Untuk mengatasi tantangan ini, Akamai telah memperkenalkan Inference Cloud, yang dikembangkan bekerja sama dengan NVIDIA dan memanfaatkan GPU Blackwell yang canggih. Pendekatan ini menekankan perlunya memproses keputusan lebih dekat dengan pengguna, daripada bergantung pada pusat data yang jauh, yang dapat membantu mengurangi biaya, meminimalkan keterlambatan, dan meningkatkan responsivitas layanan AI.
Jay Jenkins, CTO Cloud Computing Akamai, menjelaskan tentang lanskap saat ini, mencatat bahwa perusahaan-perusahaan terpaksa memikirkan kembali strategi penerapan AI mereka. Ia menyoroti bahwa disparitas antara proyek AI eksperimental dan implementasi skala penuh sering kali diremehkan, yang mengakibatkan banyak inisiatif gagal memenuhi nilai bisnis yang diharapkan. Biaya infrastruktur yang tinggi, masalah latensi, dan kompleksitas dalam menskalakan model AI adalah hambatan signifikan untuk kemajuan, terutama karena organisasi terus bergantung pada sistem cloud terpusat.
Seiring adopsi AI beralih dari proyek percontohan ke aplikasi dan layanan yang sebenarnya, permintaan untuk inferensi yang efisien telah meningkat. Jenkins menunjukkan bahwa inferensi sehari-hari, daripada siklus pelatihan yang sporadis, kini menjadi konsumen utama sumber daya komputasi. Perubahan ini mengharuskan model AI beroperasi dalam berbagai bahasa dan mematuhi berbagai regulasi secara real-time, memberikan tekanan besar pada sistem terpusat yang tidak dirancang untuk responsivitas yang cepat seperti itu.
Memindahkan inferensi lebih dekat ke pengguna dapat secara signifikan mengubah dinamika biaya, mengurangi jarak yang harus ditempuh data dan memungkinkan respons model yang lebih cepat. Pendekatan lokal ini tidak hanya meningkatkan kinerja tetapi juga membantu menghindari biaya yang terkait dengan transfer sejumlah besar data antara pusat cloud utama. Industri seperti ritel dan keuangan memimpin dalam mengadopsi inferensi edge, di mana bahkan keterlambatan kecil dapat memiliki dampak substansial pada pendapatan dan keterlibatan pengguna. Seiring dengan terus berkembangnya beban kerja AI, kebutuhan akan infrastruktur yang dapat beradaptasi dengan permintaan ini semakin kritis.