Hampir separuh pengguna Gen AI menginginkannya open source - inilah alasannya

Kai-Fu Lee menyebut ekonomi kecerdasan buatan 'sangat tidak sehat' dan menyarankan untuk mengambil pelajaran dari Steve Jobs dan iPhone.

Ekonomi kecerdasan buatan tidak dapat berkelanjutan bagi hampir semua orang selain pembuat chip GPU Nvidia, dan hal ini menimbulkan masalah besar bagi kelanjutan pengembangan bidang baru ini, menurut seorang pakar AI terkemuka.

“Ekosistemnya sangat tidak sehat,” kata Kai-Fu Lee dalam forum diskusi pribadi awal bulan ini. Lee mengacu pada disparitas keuntungan antara, di satu sisi, pembuat infrastruktur AI, termasuk Nvidia dan Google, dan, di sisi lain, pengembang aplikasi dan perusahaan yang seharusnya menggunakan AI untuk mengubah operasi mereka.

Lee, yang menjabat sebagai direktur pendiri Microsoft Research Asia sebelum bekerja di Google dan Apple, mendirikan perusahaannya saat ini, Sinovation Ventures, untuk mendanai startup seperti 01.AI, yang membuat mesin pencari AI generatif bernama BeaGo.

Untuk menurunkan biaya Gen AI, kata pakar AI Kai-Fu Lee, perusahaan harus membangun teknologi mereka sendiri yang terintegrasi secara vertikal seperti yang dilakukan Apple dengan iPhone.

Pernyataan Lee disampaikan dalam Collective[i] Forecast, sebuah seri diskusi interaktif yang diselenggarakan oleh Collective[i], yang menyebut dirinya sebagai "platform AI yang dirancang untuk mengoptimalkan penjualan B2B."

Ekosistem AI saat ini, menurut Lee, terdiri dari Nvidia, dan, pada tingkat lebih rendah, pembuat chip lainnya seperti Intel dan Advanced Micro Devices. Secara kolektif, para pembuat chip meraup $75 miliar dalam penjualan chip tahunan dari pemrosesan AI. “Infrastruktur menghasilkan $10 miliar, dan aplikasi menghasilkan $5 miliar,” kata Lee. “Jika kita terus berada dalam piramida terbalik ini, maka akan menjadi masalah,” katanya.

Saat ini, perusahaan semikonduktor seperti Nvidia menghasilkan banyak uang, sementara perusahaan yang seharusnya menjadi penerima manfaat utama -- pembuat dan pengguna aplikasi -- hanya mendapat sedikit keuntungan.

"Piramida terbalik" adalah ungkapan Lee untuk menggambarkan pembalikan ekonomi industri teknologi klasik yang belum pernah terjadi sebelumnya. Secara tradisional, pembuat aplikasi menghasilkan lebih banyak uang dibandingkan vendor chip dan sistem yang memasoknya. Misalnya, Salesforce menghasilkan lebih banyak uang dari aplikasi CRM dibandingkan Dell dan Intel, yang masing-masing membuat komputer dan chip untuk menjalankan aplikasi CRM di cloud.

Ekosistem yang sehat seperti itu, kata Lee, “dikembangkan agar aplikasi menjadi lebih sukses, mendatangkan lebih banyak pengguna, aplikasi menghasilkan lebih banyak uang, meningkatkan infrastruktur, meningkatkan semikonduktor, dan seterusnya.” Hal tersebut terjadi tidak hanya di cloud, kata Lee, namun juga di komputasi mobile, di mana keberuntungan Apple dan ARM telah menghasilkan pemenang di “top of the stack” seperti bisnis periklanan Facebook.

Sebaliknya, "Ketika aplikasi tidak menghasilkan uang, pengguna tidak mendapatkan banyak manfaat, maka Anda tidak membentuk siklus yang baik."

Kembali ke masa sekarang, Lee meratapi sifat timpang dari aplikasi tersebut. pasar Nvidia. “Kami ingin Nvidia menghasilkan lebih banyak uang, namun mereka tidak bisa menghasilkan lebih banyak uang daripada aplikasi,” katanya, mengacu pada aplikasi AI.

Perkembangan ekosistem cloud, komputer pribadi, dan seluler “jelas tidak akan terjadi saat ini” dengan tingkat pengeluaran untuk GPU Nvidia saat ini, kata Lee. “Biaya inferensi harus diturunkan” agar ekosistem yang sehat dapat berkembang, katanya. "GPT-4o1 memang luar biasa, namun harganya sangat mahal."

Lee datang ke acara tersebut dengan lebih dari sekadar peringatan, namun ia menawarkan rekomendasi "pragmatis" yang menurutnya dapat mengatasi kenyataan ekonomi yang tidak menguntungkan. Dia merekomendasikan agar perusahaan membangun teknologi mereka sendiri yang terintegrasi secara vertikal seperti yang dilakukan Apple dengan iPhone, untuk menurunkan biaya AI generatif secara signifikan.

Pernyataan Lee yang mencolok adalah bahwa perusahaan yang paling sukses adalah perusahaan yang membangun sebagian besar komponen AI generatif - termasuk chip - sendiri, dibandingkan mengandalkan Nvidia. Dia mencontohkan bagaimana Steve Jobs dari Apple mendorong timnya untuk membuat semua bagian iPhone, daripada menunggu teknologi turun harganya.

“Kami terinspirasi oleh iPhone,” kata Lee tentang upaya BeaGo. “Steve Jobs berani dan mengajak tim yang terdiri dari orang-orang dari berbagai disiplin ilmu -- mulai dari perangkat keras, iOS, driver, hingga aplikasi -- dan memutuskan, hal-hal ini berjalan seiring, namun saya tidak sabar menunggu sampai semuanya sesuai standar industri karena pada saat itu, siapa pun bisa melakukannya," jelas Lee.

Aplikasi BeaGo, kata Lee, tidak dibuat berdasarkan komponen standar seperti GPT-4o1 OpenAI, atau Llama 3 dari Meta Platforms. Sebaliknya, aplikasi tersebut dirakit sebagai kumpulan perangkat keras dan perangkat lunak yang dikembangkan bersama-sama.

Pembuat mesin pencari Rhymes AI membuat inovasi perangkat lunak dan perangkat kerasnya sendiri untuk mengurangi biaya inferensi Gen AI hingga 50x, kata Lee.

“Melalui integrasi vertikal, [kami merancang] perangkat keras khusus yang tidak akan berfungsi pada mesin inferensi lainnya,” jelas Lee. Misalnya, meskipun chip GPU masih digunakan untuk membuat prediksi, chip tersebut telah ditingkatkan dengan lebih banyak memori utama, yang dikenal sebagai memori bandwidth tinggi (HBM), untuk mengoptimalkan penyimpanan data dalam cache.

Perangkat lunak yang digunakan untuk BeaGo "bukan model umum". Tanpa mengungkapkan rincian teknisnya, Lee mengatakan model bahasa besar AI generatif "belum tentu merupakan model terbaik, namun merupakan model terbaik yang dapat dilatih, mengingat persyaratan untuk mesin inferensi yang hanya bekerja pada perangkat keras ini, dan unggul dalam perangkat keras ini." dan model yang dilatih karena ia mengetahui hal itu akan menjadi inferensi pada perangkat keras ini."

Membangun aplikasi -- termasuk perangkat keras dan database baru untuk menyimpan hasil kueri dalam cache, telah menghabiskan biaya bagi BeaGo dan pendukungnya sebesar $100 juta, kata Lee. "Anda harus kembali ke prinsip pertama, dan berkata, 'Kami ingin melakukan inferensi super cepat dengan biaya yang jauh lebih rendah, pendekatan apa yang harus kami ambil?' "

Lee mendemonstrasikan bagaimana BeaGo dapat memunculkan satu jawaban atas sebuah pertanyaan dalam sekejap mata. “Kecepatan membuat perbedaan,” katanya, membandingkannya dengan masa-masa awal Google ketika mesin pencari baru memberikan hasil jauh lebih cepat dibandingkan mesin yang sudah ada seperti Yahoo!

Model dasar AI standar seperti Meta's Llama 3.01 405b, kata Lee, "bahkan tidak akan berhasil untuk skenario ini." BeaGo tidak hanya mampu mencapai kecepatan inferensi yang lebih tinggi -- waktu yang diperlukan untuk mengembalikan prediksi sebagai respons terhadap permintaan pencarian -- tetapi juga jauh lebih murah, kata Lee.

Biaya inferensi standar saat ini menggunakan layanan seperti GPT-4 OpenAI adalah $4,40 per juta token, kata Lee. Itu setara dengan 57 sen per kueri -- "masih terlalu mahal, masih 180 kali lebih mahal dibandingkan biaya penelusuran non-AI," jelas Lee.

Dia membandingkan biaya tersebut dengan biaya standar per kueri Google, yang diperkirakan sebesar tiga persepuluh satu sen per kueri.

Biaya BeaGo untuk melayani pertanyaan adalah "mendekati satu sen per permintaan," katanya, "jadi, ini sangat murah."

Contoh BeaGo, menurut Lee, menunjukkan “apa yang perlu dilakukan untuk mengkatalisasi ekosistem aplikasi [AI] [tidak] akan terjadi hanya dengan duduk di sini menggunakan OpenAI API terbaru, namun oleh seseorang yang berani mendalami dan melakukan hal tersebut. integrasi vertikal."

Pandangan Lee yang suram saat ini kontras dengan keyakinannya bahwa AI generatif akan memungkinkan terciptanya ekosistem baru yang pada akhirnya sama bermanfaatnya dengan era PC, cloud, dan seluler.

“Selama dua tahun ke depan, semua aplikasi akan ditulis ulang, dan akan memberikan nilai bagi pengguna akhir,” kata Lee. “Akan ada aplikasi yang sebelumnya tidak ada, perangkat yang belum ada sebelumnya, model bisnis yang belum ada sebelumnya.”

Setiap langkah pengembangan tersebut, kata Lee, "akan menghasilkan lebih banyak penggunaan, lebih banyak pengguna, lebih banyak data, lebih banyak interaksi, lebih banyak uang yang dihasilkan." Para pengguna tersebut “akan menuntut model yang lebih baik dan mereka akan membawa lebih banyak peluang bisnis,” katanya.

“Industri seluler membutuhkan waktu 10 tahun untuk membangun [ekosistem yang sukses],” katanya. “Industri PC mungkin membutuhkan waktu 20 tahun untuk membangunnya; menurut saya, dengan Gen AI, mungkin dua tahun.”

Lee menyampaikan pemikirannya tentang seperti apa kasus penggunaan konsumen dan perusahaan jika AI generatif berhasil diterapkan. Bagi konsumen, kata dia, model smartphone masa kini kemungkinan besar akan hilang.

“Ekosistem aplikasi sebenarnya hanyalah sebuah langkah pertama karena begitu kita mulai berkomunikasi dengan perangkat melalui ucapan, maka telepon bukanlah hal yang tepat lagi karena kita ingin selalu mendengarkan, selalu aktif, dan telepon tidak lagi.”

Mengenai toko aplikasi, kata Lee, "mereka akan hilang karena agen akan langsung melakukan hal-hal yang kita inginkan, dan banyak aplikasi dan e-commerce -- itu akan banyak berubah, tapi itu nanti."

Jalur bagi penggunaan AI generatif oleh perusahaan akan jauh lebih sulit daripada kasus penggunaan konsumen, hipotesis Lee, karena faktor-faktor seperti sifat kelompok bisnis yang mengakar di dalam perusahaan, serta sulitnya mengidentifikasi area yang akan digunakan. benar-benar menuai laba atas investasi.

“Perusahaan akan berjalan lebih lambat,” katanya, “karena CIO belum tentu sepenuhnya selaras dengan, dan belum tentu sepenuhnya memiliki pengetahuan tentang apa yang dapat dilakukan oleh Gen AI.”

Demikian pula, menghubungkan AI generatif ke data yang disimpan dalam sistem ERP dan CRM, kata Lee, “sangat, sangat sulit.” “Penghalang terbesar” penerapan Gen AI, kata Lee, “adalah orang-orang yang terbiasa melakukan sesuatu dengan satu cara dan belum siap untuk menerima” pendekatan teknologi baru.

Dengan asumsi hambatan-hambatan tersebut dapat diatasi, kata Lee, proyek-proyek awal di Gen AI, seperti otomatisasi proses rutin, adalah “awal yang baik, namun menurut saya, ini bukanlah poin terbaik untuk menciptakan nilai maksimal.

“Pada akhirnya, bagi perusahaan, menurut saya Gen AI harus menjadi otak inti perusahaan, bukan hal-hal yang hanya sekedar periferal saja. Bagi perusahaan energi, yang intinya adalah pengeboran minyak, bukan?” Lee menawarkan. “Bagi lembaga keuangan, intinya adalah menghasilkan uang.”

Hasilnya, katanya, adalah "sekelompok pemimpin yang lebih kecil dan lebih ramping yang tidak hanya mempekerjakan orang untuk memecahkan masalah, namun juga mendelegasikan AI pada perusahaan pintar untuk fungsi-fungsi tertentu -- pada saat itulah hal ini akan menghasilkan kesepakatan terbesar."

“Yang penting sebenarnya bukan sekedar menghemat uang,” kata Lee, “tapi menghasilkan uang, dan bukan sembarang uang, tapi menghasilkan uang dalam inti, bagian strategis dari bisnis perusahaan.”