Bisakah AI membuat Anda menjadi miliarder pada tahun 2025?

NVIDIA baru saja mengumumkan Hopper, arsitektur GPU baru yang menjanjikan peningkatan kinerja yang signifikan untuk beban kerja AI. Kami melihat di bawah tenda untuk menguraikan apakah penekanan pada model Transformer AI diterjemahkan menjadi desain ulang yang radikal, dan melihat pembaruan dalam tumpukan perangkat lunak.

NVIDIA melakukannya lagi, tetapi kali ini dengan twist -- tampaknya meminjam halaman dari buku pedoman kompetisi. Di NVIDIA GTC, yang telah menjadi salah satu acara terpenting industri AI, perusahaan mengumumkan iterasi terbaru dari arsitektur dan produk perangkat kerasnya. Berikut adalah rincian pengumuman dan apa artinya bagi ekosistem pada umumnya.

Hopper: Arsitektur GPU baru NVIDIA

GTC, yang dimulai Senin dan berlangsung hingga Kamis, menampilkan 900+ sesi. Lebih dari 200.000 pengembang, peneliti, dan ilmuwan data dari 50+ negara telah mendaftar untuk acara ini. Pada keynote GTC 2022-nya , pendiri dan CEO NVIDIA Jensen Huang mengumumkan banyak berita di pusat data dan komputasi kinerja tinggi, AI, kolaborasi desain dan kembar digital, jaringan, otomotif, robotika, dan perawatan kesehatan.

Pembingkaian Huang adalah bahwa "perusahaan memproses, menyempurnakan data mereka, membuat perangkat lunak AI ... menjadi produsen intelijen." Jika tujuannya adalah untuk mengubah pusat data menjadi 'Pabrik AI', seperti yang dikatakan NVIDIA, maka menempatkan Transformers di jantung ini masuk akal.

Bagian tengah dalam pengumuman adalah Arsitektur GPU Hopper baru, yang dijuluki NVIDIA sebagai "generasi berikutnya dari komputasi yang dipercepat." Dinamai Grace Hopper, seorang ilmuwan komputer perintis AS, arsitektur baru ini menggantikan arsitektur NVIDIA Ampere, yang diluncurkan dua tahun lalu. Perusahaan juga mengumumkan GPU berbasis Hopper pertamanya, NVIDIA H100.

NVIDIA mengklaim bahwa Hopper membawa lompatan kinerja yang jauh lebih besar dari pendahulunya, dan prestasi ini didasarkan pada enam inovasi terobosan. Mari kita bahas mereka, mencatat dengan cepat bagaimana mereka dibandingkan dengan pesaing.

Pertama, manufaktur. Dibangun dengan 80 miliar transistor menggunakan proses TSMC 4N mutakhir yang dirancang untuk kebutuhan komputasi NVIDIA yang dipercepat, H100 menampilkan kemajuan besar untuk mempercepat AI, HPC, bandwidth memori, interkoneksi, dan komunikasi, termasuk hampir 5 terabyte per detik konektivitas eksternal. Di tingkat manufaktur, pemula seperti Cerebras atau Graphcore juga telah mendorong batas-batas dari apa yang mungkin.

GPU NVIDIA H100, yang pertama menggunakan arsitektur Hopper baru

Kedua, GPU Multi-Instance (MIG). Teknologi MIG memungkinkan satu GPU dipartisi menjadi tujuh instans yang lebih kecil dan sepenuhnya terisolasi untuk menangani berbagai jenis pekerjaan. Arsitektur Hopper memperluas kemampuan MIG hingga 7x lipat dibandingkan generasi sebelumnya dengan menawarkan konfigurasi multitenant yang aman di lingkungan cloud di setiap instans GPU. Run:AI, mitra NVIDIA, menawarkan sesuatu yang mirip dengan lapisan perangkat lunak, dengan nama berbagi GPU fraksional.

Ketiga, komputasi rahasia. NVIDIA mengklaim H100 adalah akselerator pertama di dunia dengan kemampuan komputasi rahasia untuk melindungi model AI dan data pelanggan saat sedang diproses. Pelanggan juga dapat menerapkan komputasi rahasia ke pembelajaran federasi untuk industri yang sensitif terhadap privasi seperti layanan kesehatan dan keuangan, serta pada infrastruktur cloud bersama. Ini bukan fitur yang telah kita lihat di tempat lain.

Keempat, NVIDIA NVLink Generasi ke-4. Untuk mempercepat model AI terbesar, NVLink digabungkan dengan NVLink Switch eksternal baru untuk memperluas NVLink sebagai jaringan scale-up di luar server, menghubungkan hingga 256 GPU H100 pada bandwidth 9x lebih tinggi dibandingkan generasi sebelumnya menggunakan NVIDIA HDR Quantum InfiniBand. Sekali lagi, ini khusus untuk NVIDIA, meskipun pesaing sering memanfaatkan infrastruktur khusus mereka sendiri untuk menghubungkan perangkat keras mereka juga.

Kelima, instruksi DPX untuk mempercepat pemrograman dinamis. Pemrograman dinamis adalah metode optimasi matematis dan metode pemrograman komputer, awalnya dikembangkan pada tahun 1950-an. Dalam hal optimasi matematis, pemrograman dinamis biasanya mengacu pada penyederhanaan keputusan dengan memecahnya menjadi urutan langkah keputusan dari waktu ke waktu. Pemrograman dinamis terutama merupakan pengoptimalan atas rekursi biasa.

NVIDIA mencatat bahwa pemrograman dinamis digunakan dalam berbagai algoritma, termasuk pengoptimalan rute dan genomik, dan dapat mempercepat eksekusi hingga 40x dibandingkan dengan CPU dan hingga 7x dibandingkan dengan GPU generasi sebelumnya. Kami tidak mengetahui padanan langsung dalam kompetisi, meskipun banyak pemula chip AI juga memanfaatkan paralelisme.

Inovasi keenam adalah yang kami anggap paling penting: mesin Transformer baru. Seperti yang dicatat NVIDIA, transformator adalah pilihan model standar untuk pemrosesan bahasa alami, dan salah satu model pembelajaran mendalam terpenting yang pernah ditemukan. Mesin Transformator akselerator H100 dibuat untuk mempercepat jaringan ini sebanyak 6x dibandingkan generasi sebelumnya tanpa kehilangan akurasi. Ini layak untuk dianalisis lebih lanjut.

Mesin Transformator di jantung Hopper

Melihat judul untuk mesin transformator baru di jantung H100 NVIDIA, kami teringat pada pernyataan arsitek Intel Raja M. Koduri kepada Tiernan Ray dari ZDNet. Koduri mencatat bahwa percepatan perkalian matriks sekarang merupakan ukuran penting dari kinerja dan efisiensi chip, yang berarti bahwa setiap chip akan menjadi prosesor jaringan saraf.

Koduri tentu saja tepat. Selain upaya Intel sendiri, inilah yang telah mendorong generasi baru desain chip AI dari berbagai pemula. Melihat NVIDIA mengacu pada mesin transformator membuat kami bertanya-tanya apakah perusahaan melakukan desain ulang radikal pada GPU-nya. GPU awalnya tidak dirancang untuk beban kerja AI, mereka kebetulan pandai dalam hal itu, dan NVIDIA memiliki pandangan ke depan dan ketajaman untuk membangun ekosistem di sekitarnya.

Namun, masuk lebih dalam ke analisis NVIDIA sendiri tentang arsitektur Hopper, gagasan tentang desain ulang radikal tampaknya dihilangkan. Sementara Hopper memperkenalkan multiprosesor streaming (SM) baru dengan banyak peningkatan kinerja dan efisiensi, sejauh itu. Itu tidak mengherankan, mengingat bobot ekosistem yang dibangun di sekitar GPU NVIDIA dan pembaruan besar-besaran serta potensi ketidakcocokan yang akan diperlukan oleh desain ulang radikal.

Memecah peningkatan di Hopper, memori tampaknya menjadi bagian besar darinya. Seperti yang dikatakan manajer produk Facebook untuk PyTorch, perpustakaan pelatihan pembelajaran mesin yang populer, mengatakan kepada ZDNet, "Model terus menjadi lebih besar dan lebih besar, mereka benar-benar besar, dan sangat mahal untuk dilatih." Model terbesar saat ini sering tidak dapat disimpan sepenuhnya di sirkuit memori yang menyertai GPU. Hopper hadir dengan memori yang lebih cepat, lebih banyak, dan dibagikan di antara SM.

Dorongan lain datang dari inti tensor generasi keempat baru NVIDIA, yang chip-to-chip hingga 6x lebih cepat dibandingkan dengan A100. Inti tensor justru yang digunakan untuk perkalian matriks. Di H100, tipe data FP8 baru digunakan, menghasilkan komputasi 4 kali lebih cepat dibandingkan dengan opsi floating-point 16-bit generasi sebelumnya. Pada tipe data yang setara, masih ada percepatan 2x.

Ringkasan peningkatan komputasi H100

Adapun yang disebut "mesin transformator baru", ternyata ini adalah istilah yang digunakan NVIDIA untuk merujuk pada "kombinasi perangkat lunak dan teknologi NVIDIA Hopper Tensor Core khusus yang dirancang khusus untuk mempercepat pelatihan dan inferensi model transformator."

NVIDIA mencatat bahwa mesin transformator secara cerdas mengelola dan secara dinamis memilih antara perhitungan FP8 dan 16-bit, secara otomatis menangani pengecoran ulang dan penskalaan antara FP8 dan 16-bit di setiap lapisan untuk memberikan pelatihan AI hingga 9x lebih cepat dan percepatan inferensi AI hingga 30x lebih cepat pada model bahasa besar dibandingkan dengan A100 generasi sebelumnya.

Jadi, meskipun ini bukan desain ulang yang radikal, kombinasi peningkatan kinerja dan efisiensi menghasilkan percepatan 6x lipat dibandingkan dengan Ampere, seperti yang dijelaskan oleh blog teknis NVIDIA. Fokus NVIDIA pada peningkatan kinerja untuk model transformator sama sekali tidak salah tempat.

Model transformator adalah tulang punggung model bahasa yang digunakan secara luas saat ini, seperti BERT dan GPT-3. Awalnya dikembangkan untuk kasus penggunaan pemrosesan bahasa alami, keserbagunaannya semakin diterapkan pada visi komputer, penemuan obat, dan banyak lagi, seperti yang telah kami dokumentasikan dalam cakupan State of AI kami. Menurut metrik yang dibagikan oleh NVIDIA, 70% penelitian yang dipublikasikan di AI dalam 2 tahun terakhir didasarkan pada transformator.

Sisi perangkat lunak: kabar baik untuk pengguna Apache Spark

Tapi bagaimana dengan sisi perangkat lunak? Dalam pengumuman GTC sebelumnya, pembaruan tumpukan perangkat lunak adalah bagian penting dari berita. Dalam peristiwa ini, sementara heuristik yang disetel NVIDIA yang secara dinamis memilih antara perhitungan FP8 dan FP16 adalah bagian penting dari mesin transformator baru secara internal, pembaruan pada tumpukan perangkat lunak yang menghadap ke eksternal tampaknya kurang penting jika dibandingkan.

Server Inferensi Triton NVIDIA dan kerangka kerja NeMo Megatron untuk melatih model bahasa besar mendapatkan pembaruan. Begitu juga Riva, Merlin, dan Maxin -- SDK AI ucapan yang mencakup model pra-terlatih, kerangka kerja AI rekomendasi end-to-end, dan SDK peningkatan kualitas audio dan video, masing-masing. Seperti yang disoroti NVIDIA, ini digunakan oleh orang-orang seperti AT & T, Microsoft, dan Snapchat.

Ada juga 60 pembaruan SDK untuk Pustaka CUDA-X NVIDIA. NVIDIA memilih untuk menyoroti area yang muncul seperti mempercepat simulasi sirkuit kuantum (ketersediaan umum cuQuantum) dan penelitian lapisan fisik 6G (ketersediaan umum Sionna). Namun, bagi sebagian besar pengguna, kabar baiknya mungkin ada di pembaruan di RAPIDS Accelerator untuk Apache Spark, yang mempercepat pemrosesan lebih dari 3x lipat tanpa perubahan kode.

Meskipun ini tidak terlalu menonjol dalam pengumuman NVIDIA, kami pikir itu seharusnya. Percepatan 3x dalam semalam tanpa perubahan kode untuk pengguna Apache Spark, dengan 80 persen dari Fortune 500 menggunakan Apache Spark dalam produksi, bukanlah berita kecil. Ini bukan pertama kalinya NVIDIA menunjukkan kecintaan kepada pengguna Apache Spark.

Secara keseluruhan, NVIDIA tampaknya mempertahankan momentumnya. Meskipun persaingan sangat ketat, dengan headstart yang berhasil diciptakan oleh NVIDIA, desain ulang radikal mungkin tidak benar-benar diperlukan.