Cerebras dan Abu Dhabi membangun model AI berbahasa Arab paling kuat di dunia
Tim ilmuwan mengumpulkan kumpulan data teks berbahasa Arab yang jauh lebih besar dari biasanya, menggunakan teknik cerdik untuk menangkap nuansa bahasa tersebut.
Jais-Chat, yang namanya diambil dari gunung tertinggi di Uni Emirat Arab, dapat menggunakan perintah dalam bahasa Arab atau Inggris dan melengkapi frasa, seperti yang dilakukan ChatGPT.
Di zaman ketika bahasa menjadi hal yang paling digemari, program kecerdasan buatan seperti ChatGPT sangatlah sempit: program-program tersebut sebagian besar berhubungan dengan bahasa Inggris, kecuali ratusan bahasa lain yang umum digunakan di dunia.
Sebagai pertanda masa depan, startup komputer AI Cerebras Systems minggu ini mengumumkan bahwa mereka telah bermitra dengan Inception Abu Dhabi, anak perusahaan dari perusahaan investasi G42 dari Uni Emirat Arab, untuk menciptakan apa yang mereka sebut sebagai bahasa besar sumber terbuka yang paling kuat di dunia. model untuk bahasa Arab, bahasa yang digunakan oleh sekitar 400 juta orang di seluruh dunia.
Menggunakan program ini -- disebut Jais-Chat -- seperti mengetik di prompt Chat-GPT, hanya saja Jais-Chat dapat mengambil dan menghasilkan tulisan berbahasa Arab sebagai input dan output. Misalnya, dapat menulis surat dalam bahasa Arab ketika diminta dalam bahasa Inggris:
Atau dapat menggunakan perintah berbahasa Arab dan menghasilkan respons dalam bahasa Arab:
Dilatih dengan kumpulan teks Arab khusus yang jauh lebih besar daripada yang tersedia secara umum, program ini menghindari pendekatan umum dalam membangun program generalis yang menangani ratusan bahasa, yang dalam banyak kasus buruk, dan malah berfokus secara eksklusif pada terjemahan bahasa Inggris dan Arab.
Saat melakukan tes pengetahuan, penalaran, dan bias dalam bahasa Arab-- tes seperti tes MMLU Universitas California di Berkeley, serangkaian pertanyaan pilihan ganda, dan HellaSwag dari Allen Institute for AI, tugas penyelesaian kalimat -- Jais-Chat mendapat skor 10 poin lebih tinggi dibandingkan model bahasa canggih terkemuka seperti LlaMA 2 dari Meta. Model ini mengalahkan program sumber terbuka teratas seperti Bloom dari Big Science Workshop tahun ini, dan juga mengalahkan model bahasa khusus yang dibuat khusus untuk bahasa Arab.
Jais-Chat mendapat skor lebih baik pada beberapa tes dalam bahasa Arab dibandingkan dengan model yang jauh lebih besar seperti Meta's LlaMA 2.
“Banyak perusahaan berbicara tentang demokratisasi AI,” kata Andrew Feldman, salah satu pendiri dan CEO Cerebras, dalam sebuah wawancara dengan ZDNET. “Di sini, kami memberikan pengalaman kepada 400 juta penutur bahasa Arab untuk menyuarakan AI - yaitu mendemokratisasi AI. Ini adalah bahasa utama di 25 negara, jadi, kami pikir ini adalah proyek yang luar biasa.”
Kesenjangan bahasa dalam AI telah diamati dan mendapat perhatian besar selama beberapa waktu sekarang. Dalam upaya "No Language Left Behind" (NLLB) tahun lalu yang dilakukan oleh Meta Properties, para ilmuwan perusahaan tersebut berusaha untuk memajukan teknologi canggih dalam menangani 200 bahasa secara bersamaan, dengan fokus khusus pada apa yang disebut bahasa-bahasa "sumber daya rendah", yaitu bahasa-bahasa yang memiliki sumber daya rendah. tanpa kumpulan teks online yang besar yang dapat digunakan untuk melatih model.
Sebagaimana dicatat oleh penulis Meta, penelitian di lapangan "menunjukkan bahwa meskipun hanya 25,9 persen pengguna internet yang berbicara bahasa Inggris, 63,7 persen dari seluruh situs web menggunakan bahasa Inggris."
“Sebenarnya, kumpulan data terbesar bergantung pada internet, dan sebagian besar internet menggunakan bahasa Inggris, dan ini adalah situasi yang sangat disayangkan,” kata Feldman.
Upaya untuk menutup kesenjangan bahasa dalam AI biasanya melibatkan program AI generalis, seperti NLLB Meta. Namun, program tersebut gagal menunjukkan peningkatan dalam sejumlah bahasa, termasuk tidak hanya bahasa dengan sumber daya rendah seperti Oromo (asli dari Etiopia dan Kenya) namun bahkan bahasa dengan materi terjemahan yang lazim seperti Yunani dan Islandia.
Dan program multi-modal seperti penerus NLLB, SeamlessM4T dari Meta, yang diluncurkan bulan ini, mencoba melakukan banyak tugas berbeda dengan lusinan bahasa hanya dengan menggunakan satu model, termasuk transkripsi text-to-speech dan ucapan-ke-teks generasi. Hal ini dapat membebani seluruh proses dengan tujuan tambahan.
Alih-alih menggunakan pendekatan generalis atau multi-modal, penulis utama Neha Sengupta dari Inception, bersama dengan tim Cerebras dan pakar di Universitas Kecerdasan Buatan Mohamed bin Zayed di UEA, membangun sebuah program yang hanya melatih program tersebut dalam bahasa Arab dan Inggris secara bersamaan.
Dan, mereka membuat kumpulan data khusus teks bahasa Arab. Mereka mengumpulkan data senilai 55 miliar token dari berbagai sumber seperti Abu El-Khair, kumpulan lebih dari 5 juta artikel, selama 14 tahun, dari sumber berita utama; Wikipedia versi bahasa Arab; dan transkrip PBB, antara lain.
Kemudian, dalam sebuah pendekatan yang mungkin menjadi contoh untuk bahasa dengan sumber daya yang lebih sedikit, penulis berhasil meningkatkan data pelatihan bahasa Arab dari 55 miliar token asli menjadi 72 miliar dengan melakukan terjemahan mesin teks bahasa Inggris ke bahasa Arab. Seperti yang mereka jelaskan, "Kami semakin menambah data berbahasa Arab dengan menerjemahkan 3 miliar token dari Wikipedia bahasa Inggris dan 15 miliar token dari korpus Books3."
Penulis kemudian meningkatkan sampel teks berbahasa Arab sebanyak 1,6 kali, sehingga menambah lebih lanjut data berbahasa Arab menjadi total 116 miliar token.
Para penulis mengambil pendekatan baru lainnya: Mereka menggabungkan teks Arab dan Inggris dengan miliaran token dari cuplikan kode komputer, dalam berbagai bahasa, yang dikumpulkan dari GitHub. Kumpulan data akhir adalah 29% bahasa Arab, 59% bahasa Inggris, dan 12% kode.
Sengupta dan timnya lebih dari sekadar menggunakan kumpulan data khusus. Mereka juga menggunakan beberapa teknik khusus untuk merepresentasikan kosakata bahasa Arab.
Para peneliti membangun "tokenizer" mereka sendiri, yaitu algoritma untuk memotong teks menjadi unit-unit individual. Tokenizer tipikal yang digunakan oleh program seperti GPT-3 “terutama dilatih pada corpora bahasa Inggris,” tulis mereka, sehingga kata-kata umum dalam bahasa Arab “tersegmentasi secara berlebihan menjadi karakter individual [yang] menurunkan kinerja model dan meningkatkan biaya komputasi. ."
Mereka juga menggunakan algoritme "penyematan" canggih, ALiBi, yang dikembangkan tahun lalu oleh Allen Institute dan Meta. Algoritme ini jauh lebih baik dalam menangani konteks yang sangat panjang -- yaitu, masukan ke model bahasa yang diketik saat diminta atau dipanggil kembali dari memori.
“Apa yang ingin kami lakukan adalah menangkap nuansa linguistik dalam bahasa Arab dan referensi budayanya,” kata Feldman, yang telah menghabiskan banyak waktu bepergian di Timur Tengah. “Dan itu tidak mudah ketika sebagian besar modelnya berbahasa Inggris.”
Disempurnakan dengan modifikasi ini dan modifikasi lainnya, hasilnya adalah model bahasa yang disebut Jais, dan aplikasi obrolan pendampingnya, Jais-Chat, yang mengukur 13 miliar "parameter", yaitu bobot saraf yang membentuk elemen aktif penting dari jaringan saraf. Jais didasarkan pada arsitektur GPT-3 yang dirancang oleh OpenAI, yang disebut versi khusus decoder dari Google Transformer dari tahun 2017.
Nama Jais diambil dari Jebel Jais, sebuah gunung, menurut Wikipedia, "dianggap sebagai titik tertinggi di Uni Emirat Arab, pada ketinggian 1.892 m (6.207 kaki) di atas permukaan laut." (Artikel berbahasa Arab).
Kode program Jais dirilis di bawah lisensi kode sumber Apache 2.0 dan tersedia untuk diunduh di Hugging Face. Demo Jais dapat digunakan dengan bergabung dalam daftar tunggu. Para penulis berencana untuk mempublikasikan kumpulan data tersebut "dalam waktu dekat", menurut Feldman.
Program tersebut dijalankan pada apa yang disebut Cerebras sebagai “superkomputer AI terbesar di dunia,” bernama Condor Galaxy 1, yang dibuat untuk G42 dan diluncurkan bulan lalu.
Mesin ini terdiri dari 32 komputer AI tujuan khusus Cerebras, CS-2, yang chipnya, "Wafer-Scale-Engine", secara kolektif menampung total 27 juta inti komputasi, memori 41 terabyte, dan 194 triliun bit bandwidth per detik. Mereka diawasi oleh 36.352 prosesor server AMD EPYC x86.
Para peneliti menggunakan sebagian dari kapasitas tersebut, 16 mesin, untuk melatih dan "menyempurnakan" Jais.
Program ini melampaui bobotnya pada 13 miliar parameter. Itu adalah jaringan saraf yang relatif kecil, dibandingkan dengan jaringan seperti GPT-3 dengan 175 miliar parameter, dan program yang lebih besar dengan lebih banyak parameter umumnya dianggap lebih kuat.
“Kemampuannya yang telah dilatih sebelumnya dan disempurnakan mengungguli semua model sumber terbuka berbahasa Arab yang dikenal,” tulis Sengupta dan timnya, “dan sebanding dengan model sumber terbuka berbahasa Inggris yang canggih yang dilatih pada kumpulan data yang lebih besar.”
Seperti yang dicatat oleh penulis, kumpulan data asli Arab yang berjumlah 72 miliar token biasanya tidak akan cukup untuk model yang lebih besar dari 4 miliar parameter, menurut aturan praktis AI yang dikenal sebagai The Chinchilla Law, yang dirumuskan oleh para peneliti di DeepMind Google.
Faktanya, Jais-Chat dengan 13 miliar parameternya tidak hanya mengungguli LlAMA 2 dan lainnya, dalam versi yang lebih kecil dari program mereka dengan hanya 6,7 miliar parameter, mereka juga mampu mencapai skor lebih tinggi pada tes standar yang sama seperti MMLU dan HellaSwag.
Jais-Chat mendapat skor lebih baik pada beberapa tes dalam bahasa Arab dibandingkan dengan model yang jauh lebih besar seperti Meta's LlaMA 2.
“Yang menarik adalah bahasa Arab juga membuat bahasa Inggris menjadi lebih baik,” kata Feldman, mengacu pada kinerja Jais dalam evaluasi tersebut. “Kami mendapatkan model yang sebagus LlaMA dalam bahasa Inggris, meskipun kami melatihnya dengan sekitar sepersepuluh data.”
Pekerjaan ini tidak hanya menetapkan skor benchmark baru dalam bahasa Arab tetapi juga mempercepat secara dramatis waktu yang dibutuhkan untuk melatih model tersebut dibandingkan dengan apa yang diperlukan dengan chip GPU standar seperti yang dijual oleh Nvidia, vendor AI yang dominan.
Diperkirakan untuk mendistribusikan pekerjaan dan melatih Jais, dibutuhkan cluster GPU 512 node antara 60 dan 100 hari, kata Cerebras, dibandingkan hanya 21 hari pada Condor Galaxy 1.
“Diperlukan waktu 20 hari hanya untuk mengonfigurasi cluster GPU sebelum Anda menjalankan modelnya,” kata Feldman. “Dan itu adalah cluster yang luar biasa mahal.”
Program Jais adalah yang terbaru dari serangkaian kontribusi Cerebras terhadap upaya perangkat lunak sumber terbuka setelah OpenAI dan Google mengurangi pengungkapannya. Program lain yang dilatih pada Condor Galaxy 1, disebut BTLM-3B-8K, adalah model nomor satu untuk konfigurasi 3 miliar parameter pada Hugging Face saat ini, dengan lebih dari satu juta unduhan, kata Feldman.
“Kami membangun sebuah superkomputer, kami memiliki banyak orang yang menggunakannya, kami memajukan komunitas sumber terbuka,” kata Feldman, “itulah kebaikannya.”