Pusat data AI menjadi 'sangat besar'

Jaringan generalis Meta untuk ucapan, teks, dan gambar kembali, tetapi kali ini dengan beberapa trik untuk mempercepat seberapa cepat ia belajar.

Data2vec Meta adalah contoh jaringan saraf generalis yang dapat menggunakan kode persis yang sama untuk mengolah contoh data dalam modalitas yang berbeda -- dalam hal ini, ucapan, teks, dan gambar -- dan membuat prediksi tentang data tersebut.

Apa yang Anda lakukan ketika Anda telah membuktikan maksud Anda dalam jaringan saraf?

Lakukan lebih cepat adalah salah satu jawaban. 

Pada hari Selasa, Meta, pemilik Facebook, Instagram, dan WhatsApp, meluncurkan Data2vec 2.0, perombakan jaringan saraf yang diperkenalkan awal tahun ini yang berperilaku sebagai semacam generalis, melakukan tugas-tugas yang melibatkan data teks, gambar, dan ucapan dengan pendekatan dasar yang sama untuk ketiganya. 

Kedua kalinya, para ilmuwan Meta membuat program lebih cepat dan, dalam beberapa kasus, lebih akurat pada tes tolok ukur tugas pembelajaran mesin.

"Data2vec 2.0 menunjukkan bahwa kecepatan pelatihan pembelajaran yang diawasi sendiri dapat ditingkatkan secara substansial tanpa kehilangan akurasi tugas hilir," tulis penulis Alexei Baevski, Arun, Wei-Ning Hsu, dan Michael Auli, empat penulis makalah Data2vec asli, dalam karya baru ini, Pembelajaran Mandiri yang Efisien dengan Representasi Target Kontekstual untuk Penglihatan, Ucapan dan Bahasa, diposting di arXiv. 

Pencapaian tunggal dari Data2vec kedua ini adalah mengurangi waktu yang diperlukan untuk melatih Data2vec. Melatih jaringan saraf biasanya diukur dalam istilah "zaman", yang berarti berapa kali jaringan saraf diberikan contoh pelatihan. Itu juga dapat diukur dengan waktu jam dinding, jam, menit, dan hari literal yang dihitung dari awal hingga akhir.

"Eksperimen menunjukkan bahwa Data2vec 2.0 dapat mencapai akurasi yang sama dengan banyak algoritma populer yang ada dalam 2-16x kecepatan pelatihan," tulis mereka.

Nama Data2vec adalah permainan dari nama program untuk bahasa "penyematan" yang dikembangkan di Google pada tahun 2013 yang disebut Word2vec. Program itu memprediksi bagaimana kata-kata berkumpul bersama, sehingga Word2vec mewakili jaringan saraf yang dirancang untuk jenis data tertentu, dalam hal ini teks. 

Namun, dalam kasus Data2vec, Baevski dan rekan-rekannya mengambil jaringan saraf yang disebut Transformer, yang dikembangkan oleh Ashish Vaswani dan rekan-rekannya di Google pada tahun 2017, dan memperluasnya untuk digunakan untuk beberapa tipe data. Struktur jaringan saraf yang sama dapat berfungsi untuk melatih ketiganya - gambar, ucapan, dan teks - tanpa diubah agar sesuai dengan kekhasan salah satu dari mereka, menjadikannya program generalis. 

Baevski dan rekan-rekannya memperluas Transformer ke apa yang disebut pembelajaran "mandiri". Dalam pengaturan yang diawasi sendiri, jaringan saraf dilatih dengan harus melewati beberapa tahap yang hasilnya dibandingkan satu sama lain.

Pertama, jaringan mengompresi sampel data, yang dikenal sebagai membangun representasi data input. Kemudian, versi kedua dari jaringan memiliki beberapa item data input yang "ditutupi", yang tidak diungkapkan. Ini harus merekonstruksi representasi yang telah dibangun oleh versi pertama jaringan, yang memaksa jaringan kedua untuk membangun model yang lebih baik tentang bagaimana data cocok bersama dengan pada dasarnya mengisi kekosongan.

Dua jaringan - yang satu dengan representasi terkompresi dari data input lengkap yang tidak bertopeng, dan yang dengan versi tidak lengkap yang coba diselesaikan - masing-masing disebut, cukup masuk akal, Guru dan Siswa. Jaringan Siswa mencoba mengembangkan pengertian datanya, jika Anda mau, dengan merekonstruksi apa yang telah dicapai Guru meskipun bertopeng.

"Alih-alih menggunakan dekoder berbasis Transformer, kami menggunakan dekoder konvolusi yang lebih kecil, yang menurut kami lebih mudah dan lebih cepat untuk dilatih," tulis mereka. 

Untuk perubahan kedua, alih-alih berulang kali membuat representasi terkompresi di jaringan guru, Data2vec baru membuat representasi hanya sekali. Kemudian menggunakannya kembali sebagai target, hal yang harus ditebak, untuk setiap titik data yang bertopeng.

Seperti yang dikatakan penulis, "Untuk mengamortisasi biaya komputasi model guru, kami menggunakan kembali representasi guru untuk beberapa versi sampel pelatihan yang bertopeng.

"Secara konkret, kami mempertimbangkan M versi bertopeng yang berbeda dari sampel pelatihan dan menghitung kerugian sehubungan dengan representasi target yang sama."

Arsitektur Data2vec 2.0. Meta kali ini telah mengganti bagian kedua dari program, yang tadinya adalah dekoder berbasis Transformer, dengan dekoder yang didasarkan pada jaringan saraf konvolusional, teknologi yang lebih tua. Mereka juga menggunakan kembali representasi terkompresi dari jaringan "guru" sebagai target tunggal untuk beberapa contoh bertopeng dari data jaringan "siswa".

Di bagian hasil makalah, Baevski dan tim menceritakan bagaimana mereka berdua memangkas waktu pelatihan dan meningkatkan akurasi di ketiga domain pengenalan gambar, pengenalan suara, dan pemrosesan bahasa alami. 

Untuk pemrosesan gambar, penulis menggunakan Data2vec sebagai dasar untuk menyempurnakan apa yang disebut "ViT," "pengubah penglihatan", jaringan saraf yang dirancang khusus untuk tugas-tugas penglihatan yang diperkenalkan tahun lalu (PDF) oleh Alexey Dosovitskiy dan rekan-rekannya di Google. Program Data2vec adalah yayasan yang telah dilatih sebelumnya, di atasnya ViT adalah penyempurnaan, dalam hal literatur. 

Dibandingkan dengan hasil Januari, ViT yang didukung Data2vec sekali lagi menduduki puncak jaringan saraf lain yang digunakan sebagai dasar untuk ViT dalam hal akurasi di ImageNet, tes klasik untuk menetapkan label ke gambar, dan juga menduduki puncak versi Data2vec sebelumnya.

Tetapi selain akurasi, Data2vec baru membutuhkan waktu pelatihan yang jauh lebih sedikit. Data2vec sebelumnya membutuhkan 800 zaman; kali ini, itu dikurangi menjadi 150 zaman. Dan di samping jaringan yang diawasi sendiri yang bersaing, encoder otomatis bertopeng, atau MAE, kreasi Meta lainnya (PDF), pelatihan dipotong dari 1.600 zaman menjadi 100, bahkan ketika akurasi Data2vec baru melampaui MAE. Rejimen pelatihan yang lebih cepat menghasilkan pengurangan besar dalam waktu absolut untuk berlatih, hanya 66 jam untuk Data2vec 2.0 versus 113,6 jam untuk MAE.

Dalam pengenalan suara, tugasnya adalah mengisi bagian yang hilang dari cuplikan file audio dari frasa yang diucapkan. Data2vec baru melawan beberapa jaringan saraf yang bersaing untuk ucapan, termasuk data2vec asli, dan program yang disebut Wav2vec, HuBERT, dan WavLM. Dalam kasus Data2vec 2.0 tidak mengalahkan jaringan tersebut, tetapi "memperoleh akurasi yang lebih tinggi daripada model lain pada waktu pelatihan yang lebih cepat." Misalnya, 43 jam pelatihan Data2vec 2.0 mencapai akurasi yang membutuhkan 57 jam untuk Data2vec asli.

Di arena ketiga, pemrosesan bahasa alami, Data2vec 2.0 diuji di seluruh spektrum tantangan yang terdiri dari kerangka kerja Evaluasi Pemahaman Bahasa Umum, yang dikenal sebagai GLUE, yang dikembangkan oleh Institut Ilmu Matematika Courant NYU pada tahun 2019. 

Dalam satu tes, jaringan harus memprediksi apakah sebuah kalimat mengikuti dari kalimat lain - keterlibatan logis - sementara tugas representatif lainnya menantang jaringan untuk memberi label fase yang benar secara tata bahasa atau tidak.

Melawan Data2vec asli, ditambah dua program berbasis Transformer, BERT Google dan versi revisi, yang disebut RoBERTa, diperkenalkan pada tahun 2019 oleh Paul Allen School of Computer Science di University of Washington dan Meta, versi 2.0 dari Data2vec mendapat skor yang bagus di seluruh hasil GLUE sambil lebih cepat untuk dilatih. 

Skor akurasi rata-rata total di semua tugas GLUE untuk versi baru ini adalah 82,6, hanya sebagian kecil di bawah 82,7 Data2vec asli, tetapi lebih tinggi dari 81,2 BERT dan lebih tinggi dari 82,5 RoBERTa. Tapi, Data2vec 2.0 hanya membutuhkan waktu 28,2 jam untuk mencapai level itu, kurang dari setengah dari 69 jam yang dibutuhkan untuk Data2vec asli, dan jauh lebih sedikit dari 50,5 jam yang dibutuhkan untuk RoBERTa.

Baevski dan tim menulis bahwa mereka akan memperluas Data2vec di masa depan ke bentuk data lain di luar ucapan, gambar, dan teks, meningkatkan prospek itu bisa menjadi lebih generalis. 

Satu batasan tampaknya akan tetap ada. Seperti Data2vec asli, versi 2.0 masih menangani setiap tipe data secara berbeda ketika mereka pertama kali dimasukkan ke jaringan selama pelatihan. Itu berarti Data2vec belum mengembangkan cara yang sepenuhnya umum untuk menangani tipe data. 

Gambar, ucapan, dan teks semuanya disiapkan dengan pra-pemrosesan data. Dengan cara itu, aspek multi-modal jaringan masih bergantung pada petunjuk tentang data, yang disebut tim sebagai "encoder input khusus modalitas kecil."

Selain itu, masing-masing pengkodean terkompresi dari jaringan guru dibuat secara terpisah untuk tiga tipe data. Belum ada kemampuan untuk membuat semacam "super-encoding" yang akan menggabungkan semua tipe data sekaligus menjadi satu representasi. 

Jadi, seperti halnya Data2vec 1.0, jaringan saraf yang mungkin benar-benar menjadi Satu Jaringan untuk Menguasai Mereka Semua, tetap menjadi teknologi masa depan.

Seperti Data2vec asli, Meta telah memposting kode di GitHub.