Inisiatif penelitian baru bertujuan untuk membangun model AI bahasa besar untuk Asia Tenggara

Singapura menginvestasikan $52 juta dalam upaya mengembangkan model bahasa besar yang berbeda dari negara-negara Barat.

Inisiatif penelitian baru sedang dilakukan untuk membangun model bahasa besar (LLM) yang lebih sesuai dengan demografi negara-negara Asia Tenggara.

Dijuluki Program LLM Multimodal Nasional, inisiatif ini dipimpin oleh Singapura dalam upaya mengembangkan model bahasa besar dengan kecerdasan buatan (AI) yang mendukung beragam perpaduan budaya dan bahasa di kawasan ini.

Tiga lembaga pemerintah -- Infocomm Media Development Authority (IMDA), AI Singapore (AISG), dan Agency for Science, Technology and Research (A*STAR) -- telah berkolaborasi untuk meluncurkan program penelitian ini, dengan dana senilai SG$70 juta ( $52,48 juta) dari National Research Foundation.

“Seiring dengan perkembangan teknologi yang pesat, terdapat kebutuhan strategis untuk mengembangkan kemampuan kedaulatan di LLM,” kata badan-badan tersebut dalam pernyataan bersama. “Budaya, nilai, dan norma lokal dan regional di Singapura dan kawasan ini berbeda dengan negara-negara Barat, tempat sebagian besar model bahasa besar berasal.”

Mereka menggarisbawahi pentingnya mengembangkan LLM multimoda dan terlokalisasi di Asia Tenggara, termasuk Singapura, yang memahami konteks dan nilai-nilai terkait dengan keragaman budaya dan bahasa di wilayah tersebut. Variabilitas ini dapat mencakup, misalnya, peralihan konteks antar bahasa pada populasi multibahasa di Singapura.

Inisiatif penelitian ini akan memanfaatkan sumber daya komputasi berkinerja tinggi dari National Supercomputing Centre Singapura dan berupaya mengembangkan kemampuan penelitian dan rekayasa negara tersebut dalam LLM multimoda.

“Upaya nasional ini menggarisbawahi komitmen Singapura untuk menjadi pusat AI global,” kata Ong Chen Hui, asisten kepala eksekutif grup biztech IMDA. “Bahasa merupakan faktor penting dalam kolaborasi. Dengan berinvestasi pada sumber daya manusia dan model AI bahasa berskala besar untuk bahasa-bahasa regional, kami ingin mendorong kolaborasi industri lintas negara dan mendorong gelombang inovasi AI berikutnya di Asia Tenggara.”

Inisiatif ini akan melanjutkan upaya yang dilakukan oleh AISG’s Southeast Asian Languages in One Network (SEA-LION), yang merupakan LLM sumber terbuka yang menurut lembaga pemerintah dirancang untuk menjadi lebih kecil, fleksibel, dan lebih cepat dibandingkan dengan LLM yang ada di pasaran saat ini. . SEA-LION saat ini berjalan pada dua model dasar: model parameter tiga miliar, dan model parameter tujuh miliar.

Menguraikan pentingnya model sumber terbuka, AISG mengatakan: "LLM yang ada menunjukkan bias yang kuat dalam hal nilai-nilai budaya, keyakinan politik, dan sikap sosial. Hal ini disebabkan oleh data pelatihan, terutama yang diambil dari internet, yang seringkali diambil dari internet. memiliki asal-usul berbasis WEIRD yang sangat besar. WEIRD mengacu pada masyarakat Barat, Terpelajar, Industri, Kaya, dan Demokratis. Orang-orang yang berasal dari non-WEIRD cenderung tidak melek huruf, menggunakan internet, dan output mereka mudah diakses."

SEA-LION bertujuan untuk mendirikan LLM yang lebih mewakili populasi "non-WEIRD". Data pelatihannya terdiri dari 981 miliar token bahasa, yang didefinisikan AISG sebagai fragmen kata yang dibuat dari penguraian teks selama proses tokenisasi. Fragmen ini mencakup 623 miliar token Inggris, 128 miliar token Asia Tenggara, dan 91 miliar token Tiongkok.

Upaya untuk membangun LLM yang terlokalisasi merupakan bagian dari strategi AI terbaru Singapura, yang berupaya untuk mendorong ambisinya menjadi pusat pengembangan global untuk solusi AI pada tahun 2030. Upaya ini mencakup rencana untuk melipatgandakan jumlah profesional AI di negara tersebut menjadi 15.000 pada tahun depan. tiga hingga lima tahun dan untuk menyediakan ekosistem yang mendukung tata kelola, pengujian, dan tolok ukur, serta pedoman etika dan keselamatan AI.

Menyatakan bahwa dunia sedang menuju ke wilayah yang belum dipetakan dengan perkembangan terkini dalam AI, Wakil Perdana Menteri Singapura Lawrence Wong mengatakan pada peluncuran strategi AI nasional: "Sampai saat ini, AI terutama berfokus pada pengenalan pola. Namun di masa yang akan datang, kita akan memiliki sistem AI dengan keagenan dan kemampuan transaksional. Kita akan memiliki mesin dengan kemampuan kognitif seperti manusia dan kapasitas untuk kesadaran diri dan pengambilan keputusan yang independen."

Dengan potensi untuk mengubah kehidupan manusia dan berdampak pada masyarakat secara signifikan, pengembangan dan penerapan AI yang bertanggung jawab harus dilakukan dengan lebih hati-hati, kata Wong.