Gelombang multi-tampilan AI akan datang dan akan sangat kuat

Munculnya berbagai modalitas data akan disatukan dalam pandangan dunia yang multi-sisi, yang bisa menjadi langkah penting menuju program yang melakukan “penalaran” dan “perencanaan.”

Yang disebut multi-tampilan adalah cara menghubungkan dua sinyal berbeda dengan mempertimbangkan informasi yang mereka bagikan tentang objek yang sama meskipun berbeda. Multi-view dapat membuka jalan menuju mesin yang memiliki pemahaman yang lebih kaya tentang struktur dunia, mungkin berkontribusi pada tujuan mesin yang dapat "bernalar" dan "merencanakan".

Kecerdasan buatan dalam bentuknya yang paling sukses -- seperti ChatGPT atau AlphaFold DeepMind untuk memprediksi protein -- telah terjebak dalam satu dimensi yang sangat sempit: AI melihat sesuatu hanya dari satu sisi, sebagai sebuah kata, sebagai gambar, sebagai koordinat dalam spasi -- sebagai jenis data apa pun, namun hanya satu per satu.

Dalam waktu yang sangat singkat, jaringan saraf akan berkembang secara dramatis dengan perpaduan bentuk data yang akan melihat kehidupan dari berbagai sisi. Ini merupakan perkembangan yang penting, karena hal ini dapat memberikan landasan yang lebih besar bagi jaringan saraf dalam cara dunia bersatu, cara segala sesuatunya bersatu, yang bisa menjadi tahap penting dalam pergerakan menuju program yang suatu hari nanti dapat melakukan apa yang Anda sebut "penalaran" " dan "perencanaan" tentang dunia.

Gelombang data multi-sisi yang akan datang berakar pada penelitian bertahun-tahun yang dilakukan oleh para ilmuwan pembelajaran mesin, dan umumnya dikenal dengan nama "multi-tampilan", atau, sebagai alternatif, fusi data. Bahkan ada jurnal akademik yang didedikasikan untuk topik ini, yang disebut Information Fusion, yang diterbitkan oleh raksasa penerbitan ilmiah Elsevier.

Ide mendalam dari fusi data adalah bahwa apa pun di dunia yang ingin diteliti memiliki banyak sisi sekaligus. Sebuah halaman web, misalnya, memiliki teks yang Anda lihat dengan mata telanjang, dan teks tautan yang tertaut ke halaman tersebut, atau bahkan hal ketiga, kode HTML dan CSS yang mendasarinya yang merupakan struktur halaman.

Gambar seseorang dapat memiliki label untuk nama orang tersebut, dan juga piksel gambarnya. Sebuah video memiliki bingkai video tetapi juga klip audio yang menyertai bingkai tersebut.

Program AI saat ini memperlakukan berbagai data tersebut sebagai informasi terpisah tentang dunia, dengan sedikit atau tanpa hubungan di antara keduanya. Bahkan ketika jaringan saraf menangani beberapa jenis data, seperti teks dan audio, hal yang paling sering mereka lakukan adalah memproses kumpulan data tersebut secara bersamaan -- jaringan saraf tidak secara eksplisit menghubungkan beberapa jenis data dengan pemahaman bahwa keduanya merupakan tampilan dari objek yang sama.

Misalnya, Meta Properties -- pemilik Facebook, Instagram, dan WhatsApp -- pada hari Selasa meluncurkan upaya terbarunya dalam terjemahan mesin, sebuah tur kekuatan dalam menggunakan berbagai modalitas data. Programnya, SeamlessM4T, dilatih pada data ucapan dan data teks secara bersamaan, dan dapat menghasilkan teks dan audio untuk tugas apa pun.

Namun SeamlessM4T tidak menganggap setiap unit dari setiap sinyal sebagai aspek dari objek yang sama.

Pandangan yang terpecah tentang berbagai hal mulai berubah. Dalam sebuah makalah yang diterbitkan baru-baru ini oleh asisten profesor Universitas New York dan rekan fakultas Ravid Shwartz-Ziv, dan kepala ilmuwan AI Meta, Yann LeCun, keduanya membahas tujuan penggunaan multi-tampilan untuk memperkaya jaringan saraf pembelajaran mendalam dengan merepresentasikan objek dari berbagai perspektif. .

Objek dipecah menjadi sinyal-sinyal yang tidak berhubungan dalam jaringan saraf dalam saat ini. Gelombang multi-modalitas yang akan datang, yang menggunakan gambar plus suara plus teks plus point cloud, jaringan grafik, dan banyak jenis sinyal lainnya, mungkin mulai menghasilkan model struktur benda yang lebih kaya.

Dalam makalah yang sangat teknis dan agak teoretis, yang diposting di server pra-cetak arXiv pada bulan April, Shwartz-Ziv dan LeCun menulis bahwa "keberhasilan pembelajaran mendalam di berbagai domain aplikasi telah meningkatkan minat terhadap metode multiview mendalam, yang mana telah menunjukkan hasil yang menjanjikan."

Multi-tampilan sedang menuju momen takdir, karena jaringan saraf yang semakin besar saat ini -- seperti SeamlessM4T -- menggunakan lebih banyak modalitas, yang dikenal sebagai AI "multi-modal".

Masa depan yang disebut AI generatif, program seperti ChatGPT dan Stable Diffusion, akan menggabungkan sejumlah besar modalitas ke dalam satu program, termasuk tidak hanya teks, gambar, dan video, tetapi juga point cloud dan grafik pengetahuan, bahkan data bio-informatika. , dan masih banyak lagi tampilan suatu pemandangan atau suatu objek.

Banyaknya modalitas yang berbeda berpotensi menawarkan ribuan "pandangan" terhadap berbagai hal, pandangan yang dapat berisi informasi timbal balik, yang dapat menjadi pendekatan yang sangat kaya untuk memahami dunia. Namun hal ini juga menimbulkan tantangan.

Kunci untuk multi-tampilan dalam jaringan saraf dalam adalah konsep yang dihipotesiskan oleh Shwartz-Ziv dan lainnya yang dikenal sebagai "kemacetan informasi". Kemacetan informasi menjadi masalah seiring dengan bertambahnya jumlah modalitas.

Kemacetan informasi adalah konsep kunci dalam pembelajaran mesin. Di lapisan tersembunyi jaringan dalam, menurut pemikiran tersebut, masukan jaringan dipreteli menjadi hal-hal yang paling penting untuk menghasilkan rekonstruksi masukan, suatu bentuk kompresi dan dekompresi.

Dalam kemacetan informasi, beberapa masukan digabungkan dalam sebuah "representasi" yang mengekstrak rincian penting yang dimiliki bersama oleh masukan sebagai pandangan berbeda dari objek yang sama. Pada tahap kedua, representasi tersebut kemudian dikupas menjadi bentuk terkompresi yang hanya berisi elemen penting dari masukan yang diperlukan untuk memprediksi keluaran yang sesuai dengan objek tersebut. Proses mengumpulkan informasi bersama, dan kemudian menghilangkan atau memampatkan semua informasi kecuali hal-hal yang penting, merupakan penghambat informasi.

Tantangan untuk multi-tampilan dalam jaringan multi-modal besar adalah bagaimana mengetahui informasi apa dari semua tampilan berbeda yang penting untuk banyak tugas yang akan dilakukan oleh jaringan saraf raksasa dengan semua modalitas berbeda tersebut.

Sebagai contoh sederhana, jaringan saraf yang menjalankan tugas berbasis teks seperti ChatGPT, yang menghasilkan kalimat teks, dapat rusak ketika jaringan tersebut juga harus, misalnya, menghasilkan gambar, jika detail yang relevan untuk tugas terakhir tersebut telah dibuang selama proses. tahap kompresi.

Seperti yang ditulis Shwartz-Ziv dan LeCun, "[S]memisahkan informasi menjadi komponen yang relevan dan tidak relevan menjadi tantangan, sering kali menghasilkan kinerja yang kurang optimal."

Belum ada jawaban yang jelas terhadap masalah ini, kata para ulama. Hal ini memerlukan penelitian lebih lanjut; khususnya, mendefinisikan ulang multi-tampilan dari sesuatu yang hanya mencakup dua tampilan berbeda dari suatu objek menjadi mungkin banyak tampilan.

“Untuk memastikan optimalitas tujuan ini, kita harus memperluas asumsi multiview agar mencakup lebih dari dua pandangan,” tulis mereka. Secara khusus, pendekatan tradisional terhadap multi-pandangan mengasumsikan “bahwa informasi yang relevan dibagikan di antara semua pandangan dan tugas yang berbeda, yang mungkin terlalu membatasi,” mereka menambahkan. Mungkin saja pandangan tersebut hanya membagikan beberapa informasi dalam konteks tertentu.

“Sebagai hasilnya,” mereka menyimpulkan, “mendefinisikan dan menganalisis versi yang lebih halus dari solusi naif ini sangatlah penting.”

Tidak diragukan lagi, kebangkitan multi-modalitas akan mendorong ilmu multi-pandangan untuk merancang solusi-solusi baru. Ledakan multi-modalitas dalam praktiknya akan menghasilkan terobosan teoretis baru bagi AI.