Bagaimana cetak biru IBM untuk transformasi industri memanfaatkan AI, 5G, dan kolaborasi
Terlepas dari obsesi deep learning dengan model besar dan pendekatan generalis, Amazon menunjukkan hasil terbaik dapat diperoleh dengan model ekonomis.
Tugas sederhana, untuk mengurangi semua kata dalam sebuah artikel menjadi urutan kata yang ringkas yang menjelaskan titik sentral artikel, adalah salah satu tugas tolok ukur dalam pembelajaran mendalam. Di sinilah para ilmuwan Alexa AI Amazon mengatakan mereka dapat melakukan upaya terbaik dari program komputer yang jauh lebih besar dari DeepMind, Google, Meta, OpenAI, dan lainnya. Pekerjaan ini memiliki implikasi untuk penggunaan energi dan efisiensi jejak karbon.
Dua benang merah penelitian sangat mendominasi pembelajaran mesin akhir-akhir ini: membuat program lebih umum dalam pendekatan mereka (untuk menangani tugas potensial apa pun) dan membuatnya lebih besar.
Jaring saraf terbesar, yang diukur dengan parameter atau "bobot"nya, mencatat lebih dari setengah triliun bobot. Model seperti Pathways Language Model Google, atau PaLM, dan Nvidia dan Microsoft Megatron-Turing NLG 530B termasuk yang terbesar, dengan masing-masing 540 miliar dan 530 miliar parameter. Semakin banyak parameter yang dimiliki program, secara umum, semakin besar jumlah daya komputasi yang dikonsumsikan untuk melatih, dan juga untuk dijalankan untuk membuat prediksi, apa yang disebut inferensi.
Selain makalah, Soltan telah menulis posting blog tentang topik tersebut.
Pekerjaan Amazon adalah bagian dari tren luas dalam literatur baru-baru ini untuk menemukan alternatif untuk meningkatkan ukuran. Sebuah makalah yang dirilis minggu lalu dari Meta (pemilik Facebook dan Instagram) berjudul "Pembelajaran Few-shot dengan Model Bahasa Tambahan Retrieval" adalah contoh yang baik. Ini menggambarkan model bahasa yang disebut Atlas yang hanya memiliki 11 miliar parameter dan dilatih hanya menggunakan 64 contoh titik data.
Seperti halnya AlexaTM 20B, program Atlas mengalahkan PaLM dengan selisih yang signifikan, tulis penulis, bahkan dengan hanya 64 contoh. Kunci Atlas adalah menggabungkan model bahasa yang telah dilatih sebelumnya dengan kemampuan untuk mengambil informasi dari sumber online, seperti Wikipedia, seolah-olah menelepon teman untuk mendapatkan jawabannya.
Dalam kasus AlexaTM 20B, penulis Amazon menggunakan tiga penyesuaian untuk mencapai skor mereka.
Diagram Amazon 2022 AlexTM 20B
Penyesuaian pertama yang menarik adalah kembali ke dasar dan memulihkan sesuatu yang diambil dari model bahasa raksasa baru-baru ini. Dasar AlexaTM 20B sama dengan PaLM dan GPT-3 dan lainnya, encoder-decoder Transformer -- pendekatan yang dipelopori pada tahun 2017 oleh ilmuwan Google Ashish Vaswani dan rekan-rekannya.
Transformer menggunakan unit yang disebut "perhatian diri" untuk menghasilkan skor probabilitas tentang bagaimana setiap kata dapat ditemukan dalam konteks kata-kata lain. Skor itu kemudian digunakan untuk mengisi kekosongan saat memprediksi kata-kata untuk membentuk blok teks yang bermakna.
Dalam kasus AlexaTM 20B, Soltan dan rekan-rekannya membuat keberangkatan kritis dari PaLM dan GPT-3 dan keturunan raksasa lainnya dari Transformer asli. Model-model yang lebih baru itu membuang setengah dari Transformer, apa yang disebut encoder (hal yang memetakan data input ke dalam keadaan tersembunyi untuk kemudian diterjemahkan menjadi jawaban). Sebagai gantinya, PaLM dan GPT-3 menggabungkan input dengan dekoder, untuk membentuk program yang dilucuti yang merupakan model "hanya dekoder".
Tim Alexa memasukkan encoder kembali ke dalam program. Klaim mereka adalah bahwa memiliki kedua elemen membantu meningkatkan akurasi dalam apa yang disebut "de-noising", yang berarti merekonstruksi kalimat asli di mana beberapa kata telah dihilangkan.
Dalam model dekoder saja, probabilitas kondisional teks yang diprediksi hanya berjalan dalam satu arah: setiap jawaban berikutnya hanya didasarkan pada apa yang datang sebelumnya. Dalam versi encoder-decoder lengkap, sebaliknya, model membuat penilaian probabilitas di kedua arah: apa yang datang sebelum kata tertentu dan apa yang mengikutinya. Itu berfungsi lebih baik dalam tugas-tugas di mana seseorang tidak hanya menghasilkan elemen berikutnya dalam sebuah kalimat, tetapi juga melakukan hal-hal seperti perbandingan kata demi kata, seperti dalam tugas penerjemahan dari satu bahasa ke bahasa lain.
Model Khusus Dekoder Amazon 2022 AlexTM 20B
Seperti yang mereka tulis, "AlexaTM 20B mencapai 82.63% yang canggih dalam pengaturan zero-shot dalam mode denoising. Alasan utama mode denoising berkinerja lebih baik untuk tugas ini adalah bahwa dalam mode denoising, input diulang di encoder dan decoder yang memungkinkan model untuk menggunakan encoder dan decoder sepenuhnya untuk menemukan jawaban terbaik."
Hal kedua yang ditambahkan penulis adalah melatih model dengan apa yang disebut "pemodelan bahasa kausal". CLM, singkatnya, adalah tugas yang digunakan dalam GPT-3 dan Transformer khusus dekoder lainnya. Ini secara khusus mewakili setiap kata sebagai hanya bergantung pada kata-kata yang datang sebelumnya -- dependensi satu arah berurutan yang dilatih untuk menghasilkan kalimat berdasarkan prompt awal.
Para penulis mencampur tugas de-noising dengan tugas kausal dalam pelatihan AlexaTM 20B, dengan de-noising mengambil 80% dari aktivitas pelatihan dan pemodelan kausal seperlima sisanya.
Keutamaan menambahkan pemodelan kausal adalah bahwa, mirip dengan GPT-3, ini membantu dalam apa yang disebut "pembelajaran dalam konteks". Pembelajaran dalam konteks adalah rubrik luas yang mencakup model apa pun yang mampu melakukan pembelajaran nol atau sedikit. Itu berarti bahwa program tidak memiliki pengetahuan khusus domain; Anda cukup memberinya contoh prompt, dan program membuat prediksi yang sesuai dengan jenis pertanyaan yang diajukan.
Karena rezim pelatihan hibrida itu, AlexTM 20B tidak hanya berhasil merekonstruksi kalimat - tugas de-noising, tetapi juga merupakan "model seq2seq multibahasa pertama yang mampu belajar dalam konteks," tulis para penulis. Ini adalah program hibrida, dengan kata lain.
Penyesuaian menarik ketiga oleh Soltan dan rekan-rekannya adalah meningkatkan jumlah poin data yang dimasukkan ke program selama pelatihan. Mereka memasukkan satu triliun "token", potongan data individu, selama pelatihan; itu lebih dari tiga kali lebih banyak dari yang diterima GPT-3. Kumpulan data pelatihan dalam hal ini terdiri dari entri Wikipedia dan juga apa yang disebut mC4, kumpulan data untuk pelatihan Transformers yang diperkenalkan tahun lalu oleh Linting Xue dan rekan-rekannya di Google. Ini didasarkan pada teks bahasa alami dalam 101 bahasa dari sumber data yang diambil oleh Common Crawl Web.
Penggunaan data pelatihan input dalam jumlah yang sangat besar adalah salah satu elemen kunci dari pekerjaan Alexa. Soltan dan tim memutuskan untuk menempuh rute itu, tulis mereka, berdasarkan pengamatan yang dilakukan oleh Jordan Hoffman dan rekan-rekannya di OpenAI, seperti yang diterbitkan dalam sebuah makalah Maret lalu, "Melatih model bahasa besar komputasi optimal."
Dalam makalah itu, Hoffman dan rekan-rekannya menyimpulkan bahwa "model bahasa besar saat ini secara signifikan kurang terlatih, konsekuensi dari fokus baru-baru ini pada penskalaan model bahasa sambil menjaga jumlah data pelatihan tetap konstan." Dengan mengambil berbagai model bahasa dengan ukuran berbeda dan menguji semuanya dengan jumlah token input yang bervariasi, Para penulis menyimpulkan bahwa "untuk pelatihan komputasi yang optimal, ukuran model dan jumlah token pelatihan harus diskalakan secara merata."
Oleh karena itu, AlexaTM 20B tidak hanya hemat -- ini bertujuan untuk membuktikan bahwa lebih sedikit parameter yang dapat diimbangi dengan lebih banyak data pelatihan untuk menyamai kinerja yang menarik.
Kebetulan, penulis juga bersusah payah untuk membentuk sebagian besar input sebagai teks lisan alami, menghilangkan kapitalisasi dan tanda baca, yang memiliki kepentingan dalam pengaturan Alexa. "Kami menyertakan lebih banyak teks lisan daripada tertulis untuk memenuhi kasus penggunaan internal kami," tulis mereka.
Beberapa teknologi tim Alexa AI digunakan dalam produk Alexa, meskipun Amazon mengatakan kepada ZDNet dalam sebuah email bahwa kelompok tersebut "juga melakukan penelitian berwawasan ke depan." Model AlexaTM 20B, kata Amazon, "terutama merupakan proyek penelitian pada tahap ini."
Amazon menambahkan, "Ada kemungkinan model ini akan digunakan dalam produksi di masa depan, tetapi hanya versi modifikasi dengan pagar pembatas yang akan digunakan untuk mengembangkan fitur dan produk Alexa."
Para penulis melatih model AlexaTM 20B "selama 120 hari pada 128 GPU [Nvidia] A100 untuk total 500 ribu pembaruan dengan akumulasi ukuran batch 2 juta token (total 1 triliun pembaruan token)," tulis mereka.
Itu mungkin terdengar banyak, tetapi kurang dari PaLM, yang dilatih oleh Google pada dua TPU Pod generasi keempatnya, yang terdiri dari 3.072 chip TPU di setiap Pod, yang terpasang ke 768 komputer host.
Seperti yang dicatat oleh penulis Google Aakanksha Chowdhery dan tim pada bulan April, itu adalah "konfigurasi TPU terbesar yang dijelaskan hingga saat ini."
Hasilnya dijabarkan dalam hasil tes tertentu. Soltan dan tim menempatkan penekanan khusus pada keberhasilan mereka dalam tugas-tugas tertentu daripada setiap tugas yang bisa dibayangkan. Misalnya, Soltan dan tim mengamati bahwa "AlexaTM 20B berkinerja lebih baik atau setara dengan model khusus dekoder padat terbesar hingga saat ini (yaitu, PaLM 540B) dalam peringkasan baik dalam pengaturan 1-shot dan fine-tuning." Ini secara khusus benar dalam tugas meringkas paragraf yang dikenal sebagai MLSum; dalam bahasa Jerman, Spanyol, dan Prancis, AlexaTM 20B mengalahkan PaLM dengan mudah.
Tes tolok ukur MLSum, yang diperkenalkan pada tahun 2020 oleh Pusat Penelitian Ilmiah Nasional Prancis, terdiri dari 1,5 juta artikel dari surat kabar. Tugasnya adalah model bahasa untuk menghasilkan beberapa kalimat teks yang mengungkapkan gagasan yang diuraikan di seluruh artikel. Ini membutuhkan banyak pengurangan, jelas, dari ratusan kata menjadi mungkin beberapa lusin.
Pada tes keempat, XSum, yang dilakukan dalam bahasa Inggris, model AlexaTM 20B berada di urutan kedua, dan mengalahkan versi PaLM yang lebih besar dari AlexaTM 20B tetapi lebih kecil dari versi 540 miliar parameter PaLM.
Meskipun unggul dalam peringkasan, AlexTM 20B jatuh pada beberapa tugas lain. Misalnya, diuji pada kumpulan data "penalaran" (seperti MultiArith) dan tugas penalaran "rantai pemikiran" (yang merupakan masalah aritmatika yang sangat sederhana yang ditulis dalam bahasa alami), program ini jauh di belakang apa yang dicapai oleh model yang jauh lebih besar seperti GPT-3.
Tulis Soltan dan tim, "AlexaTM 20B berkinerja sedikit lebih baik daripada model berukuran serupa, namun, kami tidak mengamati keuntungan yang ditunjukkan oleh model yang jauh lebih besar seperti GPT3 175B dari petunjuk khusus seperti itu," artinya, petunjuk yang diberikan kepada program tentang langkah selanjutnya dalam suatu masalah.
"Hasilnya menunjukkan bahwa meningkatkan parameter model sangat penting dalam bekerja dengan baik dalam tugas 'penalaran' seperti yang ditunjukkan sebelumnya [...] dalam arsitektur khusus dekoder menggunakan model Instruct-GPT3."
Berfokus pada tugas yang berhasil, seperti peringkasan, kesimpulan utama yang dicapai Soltan dan tim adalah bahwa pendekatan campuran mereka untuk melatih program - menggunakan tujuan de-noising dan pemodelan bahasa kausal - adalah kunci untuk membuat segalanya lebih efisien.
"Ini menunjukkan bahwa pra-pelatihan campuran, dan tidak harus pelatihan multitasking tambahan [...] adalah kunci untuk melatih Model Bahasa Skala Besar (LLM) berbasis seq2seq yang kuat," tulis mereka.
Kembali ke pertanyaan awal tentang ukuran, seperti yang telah dicatat dalam banyak konteks, penggunaan energi dari program AI yang semakin besar merupakan masalah etis dalam praktik AI. Para penulis membuat kasus yang kuat untuk relevansi pendekatan mereka yang lebih efisien.
Karena AlexaTM 20B "ukurannya jauh lebih kecil daripada model seperti GPT3 175B, namun mencapai kinerja yang serupa atau lebih baik di berbagai tugas," tulis mereka, "dampak lingkungan yang sedang berlangsung dari penggunaan AlexaTM 20B untuk inferensi jauh lebih rendah daripada model yang lebih besar (sekitar 8,7 kali lebih rendah)."
Mereka menambahkan, "Oleh karena itu, seiring waktu, AlexaTM 20B juga memiliki jejak karbon yang lebih rendah."
Para penulis menawarkan tabel statistik yang menunjukkan jejak karbon relatif, dan ada perbedaan besar dalam angka-angkanya.
Ini adalah bagan perbandingan jejak karbon Amazon 2022 AlexTM 20B.
Tabel jejak karbon itu mungkin merupakan aspek yang paling menarik dari semua ini. Penelitian pembelajaran mendalam yang lebih lanjut akan berusaha untuk menempatkan skor untuk penilaian lingkungan, tampaknya, untuk menunjukkan seberapa hemat energi pendekatan yang diberikan. Itu sejalan dengan meningkatnya fokus dunia pada "ESG", yang berarti, faktor lingkungan, sosial, dan tata kelola, dalam segala hal.
Itu mungkin berarti bahwa menjadi sadar lingkungan dalam beberapa hal telah menjadi bagian dari tujuan penelitian AI arus utama.