Terobosan kuantum Google 'benar-benar luar biasa' - tetapi masih banyak yang harus dilakukan
Pada acara GTC Nvidia hari ini, CEO Jensen Huang membuat pengumuman yang diklaim perusahaan memiliki potensi untuk mengubah industri multi-triliun dolar. Kami memilih dari pengumuman, dengan fokus pada infrastruktur perangkat keras dan perangkat lunak yang mendukung aplikasi yang menjadi berita utama.
GTC, acara unggulan Nvidia, selalu menjadi sumber pengumuman seputar semua hal tentang AI. Edisi musim gugur 2021 tidak terkecuali. Keynote Huang menekankan apa yang disebut Nvidia sebagai Omniverse. Omniverse adalah platform simulasi dan kolaborasi dunia virtual Nvidia untuk alur kerja 3D, menyatukan teknologinya.
Berdasarkan apa yang telah kami lihat, kami akan menggambarkan Omniverse sebagai pandangan Nvidia tentang Metaverse. Anda akan dapat membaca lebih lanjut tentang Omniverse di liputan Stephanie Condon dan Larry Dignan di sini di ZDNet . Apa yang dapat kami katakan adalah bahwa memang, agar sesuatu seperti ini berhasil, diperlukan pertemuan teknologi.
Jadi mari kita lihat beberapa pembaruan dalam tumpukan teknologi Nvidia, dengan fokus pada komponen seperti model bahasa besar (LLM) dan inferensi.
Lihat juga: Semuanya diumumkan di Nvidia's Fall GTC 2021.
NeMo Megatron, platform model bahasa besar open source Nvidia
Nvidia meluncurkan apa yang disebutnya kerangka kerja Nvidia NeMo Megatron untuk model bahasa pelatihan. Selain itu, Nvidia menyediakan Megatron LLM, model dengan 530 miliar yang dapat dilatih untuk domain dan bahasa baru.
Bryan Catanzaro, Wakil Presiden Penelitian Pembelajaran Mendalam Terapan di Nvidia, mengatakan bahwa "membangun model bahasa besar untuk bahasa dan domain baru kemungkinan merupakan aplikasi superkomputer terbesar, dan sekarang kemampuan ini dapat dijangkau oleh perusahaan dunia".
Sementara LLM tentu saja melihat banyak daya tarik dan semakin banyak aplikasi, utilitas penawaran khusus ini memerlukan beberapa pengawasan. Pertama, melatih LLM bukan untuk orang yang lemah hati dan membutuhkan kantong yang dalam. Diperkirakan bahwa melatih model seperti GPT-3 OpenAI menelan biaya sekitar $12 juta.
OpenAI telah bermitra dengan Microsoft dan menyediakan API seputar GPT-3 untuk mengkomersialkannya. Dan ada sejumlah pertanyaan untuk ditanyakan seputar kelayakan melatih LLM sendiri. Yang jelas adalah apakah Anda mampu membelinya, jadi anggap saja Megatron tidak ditujukan untuk perusahaan secara umum, tetapi bagian tertentu dari perusahaan pada saat ini.
Pertanyaan kedua adalah -- untuk apa? Apakah Anda benar-benar membutuhkan LLM Anda sendiri? Catanzaro mencatat bahwa LLMS "telah terbukti fleksibel dan mampu, mampu menjawab pertanyaan domain yang mendalam, menerjemahkan bahasa, memahami dan meringkas dokumen, menulis cerita dan menghitung program".
Mendukung prestasi AI yang mengesankan didasarkan pada serangkaian kemajuan perangkat lunak dan perangkat keras, dan Nvidia menangani keduanya.
Kami tidak akan melangkah lebih jauh dengan mengatakan bahwa LLM "memahami" dokumen, misalnya, tetapi mari kita akui bahwa LLM cukup berguna dan akan terus menjadi lebih baik. Huang mengklaim bahwa LLM "akan menjadi aplikasi HPC arus utama terbesar yang pernah ada".
Pertanyaan sebenarnya adalah -- mengapa membangun LLM Anda sendiri? Mengapa tidak menggunakan API GPT-3, misalnya? Diferensiasi kompetitif mungkin merupakan jawaban yang sah untuk pertanyaan ini. Fungsi biaya terhadap nilai mungkin salah satu lagi, dalam inkarnasi lain dari pertanyaan "beli versus membangun" kuno.
Dengan kata lain, jika Anda yakin Anda memerlukan LLM untuk mendukung aplikasi Anda, dan Anda berencana menggunakan GPT-3 atau LLM lain dengan istilah penggunaan serupa, cukup sering, mungkin lebih ekonomis untuk melatih LLM Anda sendiri. Nvidia menyebutkan kasus penggunaan seperti membangun chatbot khusus domain, asisten pribadi, dan aplikasi AI lainnya.
Untuk melakukan itu, akan lebih masuk akal untuk memulai dari LLM yang telah dilatih sebelumnya dan menyesuaikannya dengan kebutuhan Anda melalui pembelajaran transfer daripada melatihnya dari awal. Nvidia mencatat bahwa NeMo Megatron dibangun di atas kemajuan dari Megatron, sebuah proyek open-source yang dipimpin oleh para peneliti Nvidia yang mempelajari pelatihan efisien model bahasa transformator besar dalam skala besar.
Perusahaan menambahkan bahwa kerangka kerja NeMo Megatron memungkinkan perusahaan untuk mengatasi tantangan melatih model pemrosesan bahasa alami yang canggih. Jadi, proposisi nilainya tampaknya adalah -- jika Anda memutuskan untuk berinvestasi di LLM, mengapa tidak menggunakan Megatron? Meskipun itu terdengar seperti proposisi yang masuk akal, kita harus mencatat bahwa Megatron bukan satu-satunya game di kota.
Baru-baru ini, EleutherAI, kolektif peneliti AI independen, membuka sumber model GPT-j 6 miliar parameter mereka. Selain itu, jika Anda tertarik dengan bahasa di luar bahasa Inggris, kami sekarang memiliki model bahasa Eropa besar yang fasih berbahasa Inggris, Jerman, Prancis, Spanyol, dan Italia oleh Aleph Alpha. Wudao adalah LLM Cina yang juga merupakan LLM terbesar dengan 1,75 triliun parameter, dan HyperCLOVA adalah LLM Korea dengan 204 miliar parameter. Plus, selalu ada LLM open source lain yang sedikit lebih tua/lebih kecil seperti GPT2 atau BERT dan banyak variasinya.
Bertujuan untuk inferensi model AI mengatasi total biaya kepemilikan dan operasi
Satu peringatan adalah bahwa ketika datang ke LLM, lebih besar (seperti memiliki lebih banyak parameter) tidak selalu berarti lebih baik. Satu lagi adalah bahwa bahkan dengan basis seperti Megatron untuk dibangun, LLM adalah binatang buas yang mahal untuk dilatih dan dioperasikan. Penawaran Nvidia diatur untuk mengatasi kedua aspek ini dengan secara khusus menargetkan inferensi juga.
Megatron, menurut Nvidia, dioptimalkan untuk memperluas skala di seluruh infrastruktur komputasi akselerasi skala besar Nvidia DGX SuperPOD™. NeMo Megatron mengotomatiskan kompleksitas pelatihan LLM dengan pustaka pemrosesan data yang menyerap, mengkurasi, mengatur, dan membersihkan data. Menggunakan teknologi canggih untuk data, tensor, dan paralelisasi pipa, ini memungkinkan pelatihan model bahasa besar didistribusikan secara efisien di ribuan GPU.
Tapi bagaimana dengan inferensi? Lagi pula, secara teori, setidaknya, Anda hanya melatih LLM sekali, tetapi model ini digunakan berkali-kali untuk menyimpulkan -- menghasilkan hasil. Fase inferensi operasi menyumbang sekitar 90% dari total biaya energi operasi untuk model AI. Jadi memiliki inferensi yang cepat dan ekonomis adalah yang terpenting, dan itu berlaku di luar LLM.
Nvidia mengatasi hal ini dengan mengumumkan pembaruan besar pada Server Inferensi Triton-nya, karena 25.000+ perusahaan di seluruh dunia menerapkan inferensi AI Nvidia. Pembaruan tersebut mencakup kemampuan baru dalam perangkat lunak Nvidia Triton Inference Server™ open source, yang menyediakan inferensi lintas platform pada semua model dan kerangka kerja AI, dan Nvidia TensorRT,™ yang mengoptimalkan model AI dan menyediakan runtime untuk inferensi berkinerja tinggi pada GPU Nvidia.
Nvidia memperkenalkan sejumlah peningkatan untuk Server Inferensi Triton. Ikatan yang paling jelas dengan LLM adalah bahwa Triton sekarang memiliki fungsionalitas multinode multi-GPU. Ini berarti LLM berbasis Transformer yang tidak lagi muat dalam satu GPU dapat diinferensikan di beberapa GPU dan node server, yang menurut Nvidia memberikan kinerja inferensi waktu nyata.
90% dari total energi yang dibutuhkan untuk model AI berasal dari inferensi
Triton Model Analyzer adalah alat yang mengotomatiskan tugas pengoptimalan utama dengan membantu memilih konfigurasi terbaik untuk model AI dari ratusan kemungkinan. Menurut Nvidia, Ini mencapai kinerja optimal sambil memastikan kualitas layanan yang diperlukan untuk aplikasi.
RAPIDS FIL adalah back-end baru untuk inferensi GPU atau CPU dari forest acak dan model pohon keputusan yang ditingkatkan gradien, yang memberi pengembang mesin penerapan terpadu untuk pembelajaran mendalam dan pembelajaran mesin tradisional dengan Triton.
Last but not least, di bagian perangkat lunak, Triton sekarang hadir dengan Integrasi Amazon SageMaker, memungkinkan pengguna untuk dengan mudah menerapkan model multi-kerangka kerja menggunakan Triton dalam SageMaker, layanan AI AWS yang dikelola sepenuhnya.
Di bagian depan perangkat keras, Triton sekarang juga mendukung CPU Arm dan GPU Nvidia dan CPU x86. Perusahaan juga memperkenalkan GPU Nvidia A2 Tensor Core, akselerator berdaya rendah, jejak kecil untuk inferensi AI di tepi yang diklaim Nvidia menawarkan kinerja inferensi hingga 20X lebih banyak daripada CPU.
Triton menyediakan inferensi AI pada GPU dan CPU di cloud, pusat data, edge perusahaan, dan tertanam, terintegrasi ke dalam AWS, Google Cloud, Microsoft Azure dan Alibaba Cloud, dan termasuk dalam Nvidia AI Enterprise. Untuk membantu memberikan layanan berdasarkan teknologi AI Nvidia ke tepi, Huang mengumumkan Nvidia Launchpad.
Nvidia bergerak secara proaktif untuk mempertahankan keunggulannya dengan ekosistem perangkat keras dan perangkat lunaknya
Dan itu jauh dari semua yang diluncurkan Nvidia hari ini. Nvidia Modulus membangun dan melatih model pembelajaran mesin yang diinformasikan fisika yang dapat mempelajari dan mematuhi hukum fisika. Grafik -- struktur data utama dalam ilmu data modern -- sekarang dapat diproyeksikan ke dalam kerangka kerja jaringan saraf dalam dengan Deep Graph Library, atau DGL, paket Python baru.
Huang juga memperkenalkan tiga perpustakaan baru: ReOpt, untuk industri logistik senilai $10 triliun. cuQuantum, untuk mempercepat penelitian komputasi kuantum. Dan cuNumeric, untuk mempercepat NumPy untuk para ilmuwan, ilmuwan data, dan peneliti pembelajaran mesin dan AI di komunitas Python. Dan Nvidia memperkenalkan 65 SDK baru dan diperbarui di GTC.
Jadi, apa yang harus dilakukan dari semua itu? Meskipun kami memilih, masing-masing item ini mungkin akan menjamin analisisnya sendiri. Gambaran besarnya adalah, sekali lagi, Nvidia bergerak secara proaktif untuk mempertahankan keunggulannya dalam upaya bersama untuk mengikat perangkat kerasnya dengan perangkat lunaknya.
LLM mungkin tampak eksotis bagi sebagian besar organisasi pada saat ini. Namun, Nvidia bertaruh bahwa mereka akan melihat lebih banyak minat dan aplikasi praktis dan memposisikan dirinya sebagai platform LLM untuk dibangun orang lain. Meskipun ada alternatif, setelah mengkurasi, mendukung, dan dibundel dengan ekosistem dan merek perangkat lunak dan perangkat keras Nvidia mungkin akan tampak seperti proposisi yang menarik bagi banyak organisasi.
Hal yang sama berlaku untuk fokus pada inferensi. Dalam menghadapi meningkatnya persaingan oleh berbagai vendor perangkat keras yang membangun arsitektur yang dirancang khusus untuk beban kerja AI, Nvidia menggandakan inferensi. Ini adalah bagian dari operasi model AI yang memainkan peran terbesar dalam total biaya kepemilikan dan operasi. Dan Nvidia, sekali lagi, melakukannya dengan gaya khasnya - memanfaatkan perangkat keras dan perangkat lunak ke dalam ekosistem.