Sebuah makalah penelitian yang dirilis awal tahun ini telah memicu perdebatan di komunitas AI, yang menyatakan bahwa agen AI, terutama yang berbasis model transformer, memiliki keterbatasan matematis dalam kemampuannya. Berjudul "Stasiun Halusinasi: Tentang Beberapa Keterbatasan Dasar dari Model Bahasa Berbasis Transformer," makalah ini berargumen bahwa model bahasa besar (LLM) tidak dapat diandalkan untuk menangani tugas di luar kompleksitas tertentu. Para penulis, termasuk mantan CTO SAP dan putranya, menekankan bahwa bahkan model penalaran yang canggih tidak akan menyelesaikan masalah yang melekat ini.
Vishal Sikka, salah satu penulis dan tokoh terkemuka dalam pengembangan AI, mengungkapkan skeptisisme tentang keandalan agen AI dalam aplikasi kritis, seperti mengoperasikan pembangkit listrik tenaga nuklir. Ia menyarankan bahwa meskipun AI dapat membantu dengan tugas yang lebih sederhana, pengguna harus siap menghadapi kemungkinan kesalahan. Perspektif ini sangat kontras dengan optimisme yang diungkapkan oleh banyak orang di industri AI, yang menyoroti keberhasilan terbaru dalam pengkodean AI dan upaya yang sedang berlangsung untuk mengurangi masalah seperti halusinasi.
Dalam sebuah acara baru-baru ini di Davos, pemimpin AI Google, Demis Hassabis, melaporkan kemajuan dalam mengurangi halusinasi dalam sistem AI. Sementara itu, sebuah startup bernama Harmonic, yang didirikan bersama oleh CEO Robinhood Vlad Tenev, mengklaim telah membuat kemajuan signifikan dalam keandalan pengkodean AI. Produk mereka, Aristotle, menggunakan metode matematis formal untuk memastikan kepercayaan terhadap keluaran AI, menunjukkan bahwa ada jalur yang layak untuk mengatasi tantangan yang diidentifikasi dalam makalah penelitian.
Meskipun terdapat pandangan yang berbeda, kedua belah pihak mengakui masalah halusinasi yang terus-menerus dalam AI. Sebuah studi dari OpenAI mengonfirmasi bahwa bahkan model terbaru pun berjuang dengan ketidakakuratan, yang dapat menghambat adopsi mereka di lingkungan bisnis. Kritikus seperti Himanshu Tyagi dari Sentient berargumen bahwa halusinasi ini dapat mengganggu alur kerja, merusak nilai agen AI.
Namun, banyak orang di industri percaya bahwa dengan langkah-langkah pengaman yang tepat, dampak halusinasi dapat dikelola. Sikka mencatat bahwa meskipun makalahnya menyoroti keterbatasan LLM, adalah mungkin untuk mengembangkan komponen tambahan yang dapat membantu mengurangi masalah ini. Achim dari Harmonic memandang halusinasi sebagai bagian intrinsik dari pembelajaran AI, menyarankan bahwa halusinasi mungkin bahkan diperlukan untuk mencapai tingkat kecerdasan yang lebih tinggi. Seiring perkembangan bidang ini, integrasi agen AI ke dalam berbagai tugas kemungkinan akan terus berlanjut, menimbulkan pertanyaan tentang keandalan mereka dan masa depan pekerjaan kognitif manusia.