Ilmuwan AI: 'Kita perlu berpikir di luar kotak model bahasa yang luas'

Salah satu pendiri AI21 Labs, Yoav Shoham, mengatakan diperlukan sesuatu yang ekstra untuk membangun kecerdasan buatan generatif yang lebih baik dan lebih cerdas.

Pengembang kecerdasan buatan generatif (Gen AI) terus mendorong batasan dari apa yang mungkin dilakukan, seperti Google Gemini 1.5, yang dapat menampung jutaan token informasi dalam satu waktu.

Namun, tingkat perkembangan ini pun tidak cukup untuk membuat kemajuan nyata dalam AI, kata para pesaing yang bersaing ketat dengan Google. “Kita perlu berpikir di luar kebiasaan LLM,” kata salah satu pendiri dan salah satu CEO AI21 Labs, Yoav Shoham dalam wawancara dengan ZDNET.

AI21 Labs, sebuah startup yang didukung swasta, bersaing dengan Google di LLM, model bahasa besar yang menjadi landasan Gen AI. Shoham, yang pernah menjadi ilmuwan utama di Google, juga merupakan profesor emeritus di Universitas Stanford.

“Mereka luar biasa dengan hasil yang mereka keluarkan, namun mereka tidak benar-benar memahami apa yang mereka lakukan,” katanya tentang LLM. "Saya pikir bahkan orang-orang yang paling fanatik dalam jaringan saraf tidak berpikir bahwa Anda hanya dapat membangun model bahasa yang lebih besar, dan mereka akan menyelesaikan semuanya."

Peneliti AI21 Labs menyoroti kesalahan dasar GPT-3 OpenAI sebagai contoh bagaimana model tersandung pada pertanyaan dasar. Jawabannya, menurut startup tersebut, adalah melengkapi LLM dengan hal lain, seperti modul yang dapat beroperasi secara konsisten.

Startup Shoham telah memelopori pendekatan Gen AI baru yang melampaui “transformator” tradisional, yang merupakan elemen inti dari sebagian besar LLM. Misalnya, AI21 Labs pada bulan April meluncurkan model yang disebut Jamba, sebuah kombinasi menarik antara transformator dengan jaringan neural kedua yang disebut model ruang negara (SSM).

Campuran ini memungkinkan Jamba mengungguli model AI lainnya dalam metrik penting. Shoham meminta ZDNET untuk memberikan penjelasan ekstensif tentang satu metrik penting: panjang konteks.

Panjang konteks adalah jumlah masukan -- dalam bentuk token, biasanya kata -- yang dapat ditangani oleh suatu program. Llama 3.1 Meta mendukung hingga 128.000 token di jendela konteksnya. Jamba milik AI21 Labs, yang juga merupakan perangkat lunak sumber terbuka, memiliki dua kali lipat angka tersebut -- jendela konteks 256.000 token.

Shoham. "Bahkan orang-orang jaringan saraf yang paling fanatik pun tidak berpikir bahwa Anda hanya dapat membangun model bahasa yang lebih besar, dan mereka akan menyelesaikan semuanya."

Dalam pengujian head-to-head, dengan menggunakan pengujian benchmark yang dibuat oleh Nvidia, Shoham mengatakan model Jamba adalah satu-satunya model selain Gemini yang dapat mempertahankan jendela konteks 256K "dalam praktiknya". Panjang konteks dapat diiklankan sebagai satu hal, namun dapat berantakan karena skor model semakin rendah seiring bertambahnya panjang konteks.

“Kami adalah satu-satunya pihak yang memiliki kebenaran dalam periklanan,” sejauh konteksnya, kata Shoham. "Semua model lainnya mengalami penurunan seiring bertambahnya panjang konteks."

Gemini Google tidak dapat diuji melebihi 128K, kata Shoham, mengingat batasan yang diberlakukan pada antarmuka pemrograman aplikasi Gemini oleh Google. “Mereka sebenarnya memiliki jendela konteks efektif yang bagus, setidaknya pada 128K,” katanya.

Jamba lebih ekonomis dibandingkan Gemini untuk jendela 128K yang sama, kata Shoham. “Harganya sekitar 10 kali lebih mahal dari kita,” dalam hal biaya untuk menyajikan prediksi dari Gemini versus Jamba, praktik inferensi, katanya.

Semua itu, tegas Shoham, merupakan produk pilihan "arsitektur" untuk melakukan sesuatu yang berbeda, menggabungkan trafo ke SSM. "Anda dapat menunjukkan dengan tepat berapa banyak panggilan [API] yang dilakukan" ke model tersebut, katanya kepada ZDNET. “Bukan hanya biaya dan latensinya saja, hal ini sudah melekat dalam arsitekturnya.”

Shoham telah menjelaskan temuannya dalam sebuah posting blog.

Namun kemajuan tersebut tidak berarti apa-apa, kecuali Jamba dapat melakukan sesuatu yang lebih unggul. Manfaat memiliki jendela konteks yang besar menjadi jelas, kata Shoham, ketika dunia beralih ke hal-hal seperti retrieval-augmented generation (RAG), sebuah pendekatan yang semakin populer dalam menghubungkan LLM ke sumber informasi eksternal, seperti database.

Jendela konteks besar memungkinkan LLM mengambil dan memilah informasi lebih lanjut dari sumber RAG untuk menemukan jawabannya.

“Pada akhirnya, ambil sebanyak yang Anda bisa [dari database], tapi jangan terlalu banyak,” adalah pendekatan yang tepat untuk RAG, kata Shoham. "Sekarang, Anda dapat mengambil lebih banyak dari sebelumnya, jika Anda memiliki jendela konteks yang panjang, dan sekarang model bahasa memiliki lebih banyak informasi untuk dikerjakan."

Ketika ditanya apakah ada contoh praktis dari upaya ini, Shoham mengatakan kepada ZDNET: "Masih terlalu dini untuk menunjukkan sistem yang sedang berjalan. Saya dapat memberi tahu Anda bahwa kami memiliki beberapa pelanggan yang merasa frustrasi dengan solusi RAG, yang kini bekerja sama dengan kami. Dan saya cukup yakin kami akan mampu menunjukkan hasilnya kepada publik, namun hal itu belum cukup lama diumumkan."

Jamba, yang telah diunduh sebanyak 180.000 kali sejak dipasang di HuggingFace, tersedia di layanan inferensi Bedrock AWS Amazon dan Microsoft Azure, dan "orang-orang melakukan hal menarik dengannya," kata Shoham.

Meskipun demikian, bahkan RAG yang lebih baik pada akhirnya tidak mampu mengatasi berbagai kekurangan Gen AI, mulai dari halusinasi hingga risiko turunnya teknologi dari generasi ke generasi menjadi omong kosong.

“Saya pikir kita akan melihat orang-orang menuntut lebih banyak, sistem yang menuntut tidak konyol, dan memiliki sesuatu yang tampak seperti pemahaman nyata, memiliki jawaban yang hampir sempurna,” kata Shoham, “dan itu bukan LLM murni.”

Dalam makalah yang diposting bulan lalu di server pra-cetak arXiv, dengan kolaborator Kevin Leyton-Brown, berjudul "Pemahaman Pemahaman: Kerangka Pragmatis yang Dimotivasi oleh Model Bahasa Besar," Shoham mendemonstrasikan bagaimana, dalam berbagai operasi, seperti matematika dan manipulasi tabel data, LLM menghasilkan "penjelasan yang terdengar meyakinkan dan tidak sebanding dengan makalah metaforis yang mereka tulis."

"Kami menunjukkan betapa naifnya menghubungkan [sebuah LLM] ke sebuah tabel, fungsi tabel itu akan memberikan kesuksesan 70% atau 80%," kata Shoham kepada ZDNET. “Hal ini sering kali sangat menyenangkan karena Anda mendapatkan sesuatu secara cuma-cuma, namun jika itu adalah pekerjaan yang sangat penting, Anda tidak dapat melakukan hal itu.”

Kegagalan seperti itu, kata Shoham, berarti bahwa "seluruh pendekatan dalam menciptakan kecerdasan akan menyatakan bahwa LLM mempunyai peran, namun mereka adalah bagian dari sistem AI yang lebih besar yang menghadirkan hal-hal yang tidak dapat Anda lakukan dengan LLM."

Di antara hal-hal yang diperlukan untuk melampaui LLM adalah berbagai alat yang telah muncul dalam beberapa tahun terakhir, kata Shoham. Elemen seperti pemanggilan fungsi memungkinkan LLM menyerahkan tugas ke jenis perangkat lunak lain yang khusus dibuat untuk tugas tertentu.

“Jika Anda ingin melakukan penjumlahan, model bahasa melakukan penjumlahan, namun mereka melakukannya dengan sangat buruk,” kata Shoham. "Hewlett-Packard memberi kita kalkulator pada tahun 1970, mengapa menciptakan kembali roda itu? Itu adalah contoh alatnya."

Penggunaan LLM dengan alat secara luas dikelompokkan oleh Shoham dan lainnya di bawah rubrik "sistem AI gabungan". Dengan bantuan perusahaan manajemen data Databricks, Shoham baru-baru ini menyelenggarakan lokakarya tentang prospek untuk membangun sistem tersebut.

Contoh penggunaan alat tersebut adalah menyajikan LLM dengan "struktur semantik" data berbasis tabel, kata Shoham. "Sekarang, akurasi Anda mendekati seratus persen" dari LLM, katanya, "dan ini tidak akan Anda dapatkan jika Anda hanya menggunakan model bahasa tanpa hal tambahan.

Selain alat, Shoham menganjurkan eksplorasi ilmiah ke arah lain di luar pendekatan pembelajaran mendalam murni yang telah mendominasi AI selama lebih dari satu dekade. “Anda tidak akan mendapatkan alasan yang kuat hanya dengan back-prop dan berharap yang terbaik,” kata Shoham, mengacu pada back-propagation, aturan pembelajaran yang digunakan untuk melatih sebagian besar AI saat ini.

Shoham berhati-hati untuk menghindari pembahasan inisiatif produk berikutnya, namun dia mengisyaratkan bahwa apa yang mungkin diperlukan terwakili -- setidaknya secara filosofis -- dalam sistem yang dia dan rekannya perkenalkan pada tahun 2022 yang disebut Sistem MRKL (Modular Reasoning, Knowledge, and Language) .

Makalah ini menggambarkan sistem MRKL sebagai "Neural, termasuk model bahasa besar untuk tujuan umum serta LM khusus yang lebih kecil lainnya," dan juga, "Simbolis, misalnya, kalkulator matematika, konverter mata uang, atau panggilan API ke database."

Luasnya itu adalah pendekatan neuro-simbolis terhadap AI. Dalam hal ini, Shoham sejalan dengan beberapa pemikir terkemuka yang memiliki kekhawatiran terhadap dominasi Gen AI. Gary Marcus, yang sering mengkritik AI, misalnya, mengatakan bahwa AI tidak akan pernah mencapai kecerdasan tingkat manusia tanpa kemampuan memanipulasi simbol.

MRKL telah diimplementasikan sebagai program bernama Jurassic-X, yang telah diuji oleh startup tersebut bersama mitranya.

Sistem MRKL harus dapat menggunakan LLM untuk menguraikan masalah yang melibatkan ungkapan rumit, seperti, "99 botol bir di dinding. Satu jatuh. Berapa banyak botol bir di dinding?" Aritmatika sebenarnya ditangani oleh jaringan saraf kedua dengan akses ke logika aritmatika, menggunakan argumen yang diambil dari teks oleh model pertama.

Sebuah "router" di antara keduanya memiliki tugas yang sulit untuk memilih hal mana yang akan diekstraksi dari teks yang diurai oleh LLM dan memilih "modul" mana yang akan meneruskan hasilnya untuk menjalankan logika.

Hal ini berarti bahwa “tidak ada makan siang yang gratis, namun dalam banyak kasus harga makan siang tersebut terjangkau,” tulis tim Shoham.

Dari sudut pandang produk dan bisnis, "kami ingin, secara berkelanjutan, menyediakan fungsi tambahan bagi orang-orang untuk membuat sesuatu," kata Shoham.

Yang penting sistem seperti MRKL tidak perlu melakukan segalanya agar bisa praktis, ujarnya. "Jika Anda mencoba membangun LLM universal yang memahami soal matematika dan cara membuat gambar keledai di bulan, serta cara menulis puisi, dan melakukan semua itu, biayanya bisa mahal," katanya. "Tetapi 80% data di perusahaan adalah teks -- Anda punya tabel, Anda punya grafik, tapi keledai di bulan tidak begitu penting di perusahaan."

Mengingat skeptisisme Shoham terhadap LLM, apakah ada bahaya bahwa Gen AI saat ini dapat memicu apa yang disebut sebagai musim dingin AI (keruntuhan aktivitas secara tiba-tiba, karena minat dan pendanaan habis)?

“Itu pertanyaan yang valid, dan saya tidak tahu pasti jawabannya,” katanya. "Saya pikir kali ini berbeda, pada tahun 1980-an," selama musim dingin AI yang lalu, "tidak cukup nilai yang diciptakan oleh AI untuk mengimbangi hype yang tidak berdasar. Sekarang jelas ada beberapa hype yang tidak berdasar, tapi menurut saya adalah bahwa nilai yang cukup telah diciptakan untuk membantu kita melewatinya."