Nvidia membuka penerus Ampere Hopper dan 80 miliar transistor H100 GPU
Beban kerja besar yang sebelumnya membutuhkan waktu seminggu untuk berlatih di A100 sekarang hanya akan memakan waktu 20 jam.
Nvidia telah mengumumkan arsitektur barunya untuk beban kerja AI pusat data untuk menggantikan Ampere yang disebut Hopper, setelah pelopor komputasi Grace Hopper.
Produk pertama yang didasarkan pada Hopper adalah H100, yang berisi 80 miliar transistor, dibangun di atas proses 4N TSMC, dan memberikan kinerja tiga hingga enam kali lebih banyak daripada A100 berbasis Ampere. GPU akan mendukung PCIe Gen5, memori NVLink HBM3 generasi keempat, dan memiliki bandwidth memori 3Tbps.
"Dua puluh GPU H100 dapat mempertahankan setara dengan lalu lintas internet seluruh dunia, memungkinkan pelanggan untuk memberikan sistem rekomendasi canggih dan model bahasa besar yang menjalankan inferensi pada data secara real time," kata Nvidia.
GPU juga akan memiliki teknologi multi-instance generasi kedua, dan mampu mendukung tujuh tenda pada satu GPU. Perusahaan juga mengatakan akan dapat melakukannya dengan aman, berkat dukungan komputasi rahasianya.
"Hopper membawa komputasi rahasia ke komputasi yang dipercepat dengan menggunakan kombinasi perangkat keras dan perangkat lunak. Ketika komputasi rahasia diaktifkan atau lingkungan eksekusi tepercaya dibuat melalui mesin virtual rahasia yang mencakup CPU dan GPU bersama-sama, transfer data antara CPU ke GPU, dan GPU ke GPU dalam node dienkripsi dan didekripsi pada kecepatan jalur PCIe penuh," kata direktur senior komputasi pusat data Nvidia Paresh Kharya.
"H100 juga memiliki firewall perangkat keras yang mengamankan seluruh beban kerja pada GPU H100, dan juga mengisolasinya antara memori dan mesin komputer, sehingga tidak ada orang lain selain pemilik lingkungan eksekusi tepercaya dengan kunci yang dapat menyentuh data apa pun yang dikodekan di dalamnya.
"Desain ini menjamin isolasi VM total dan mencegah akses atau modifikasi oleh entitas yang tidak berwenang termasuk hypervisor, sistem operasi host, atau bahkan siapa pun yang memiliki akses fisik."
Nvidia mengatakan H100 dapat menangani model monster 105 lapisan, 530 miliar parameter, Megatron-Turing 530B, dengan throughput hingga 30 kali lebih tinggi. Saat melatih model Mixture of Experts Transformer dengan 395 miliar parameter pada 8.000 GPU, Nvidia mengatakan daripada memakan waktu tujuh hari menggunakan A100, pelatihan pada H100 hanya membutuhkan waktu 20 jam.
Perusahaan akan menggabungkan delapan GPU H100 bersama-sama untuk sistem DGX H100 yang akan menghasilkan 32 petaflops pada beban kerja FP8, dan DGX Superpod baru akan menghubungkan hingga 32 node DGX H100 dengan sakelar menggunakan NVLink generasi keempat yang mampu menghasilkan 900GBps.
Bagi mereka yang memiliki anggaran yang lebih sederhana, GPU diatur untuk tersedia dari tersangka cloud biasa.
Ketersediaan untuk H100 akan dimulai pada kuartal ketiga.
Bersamaan dengan H100, Nvidia juga meluncurkan Grace Superchip-nya, berdasarkan sepasang chip Grace yang terhubung menggunakan NVLink-C2C untuk interkoneksi chip-to-chip. Superchip memiliki 144 inti Arm dalam satu soket, memori LPDDR5x dengan ECC, dan menarik daya 500 watt.
Baik Grace Superchip, dan pasangan CPU dan GPU di Grace Hopper Superchip yang diumumkan tahun lalu, akan tersedia pada paruh pertama tahun 2023.
Di tempat lain di GTC, Nvidia mengumumkan sistem otomotif Drive Hyperion 9 akan tersedia di kendaraan produksi 2026, dan mencakup 14 kamera, sembilan radar, tiga lidar, dan 20 sensor ultrasonik untuk mengemudi otomatis dan otonom, dan tiga kamera dan satu radar untuk melihat ke dalam kendaraan.
Cakupan Terkait
- Impian Nvidia untuk memiliki Arm secara resmi berakhir
- NVIDIA menyelidiki insiden keamanan siber
- FTC: Akhir merger Nvidia-Arm 'melindungi inovasi masa depan'
- Mengapa membatalkan kesepakatan Nvidia + Arm pada akhirnya buruk bagi industri
- Nvidia melaporkan pendapatan $7,6 miliar pada Q4 setelah kesepakatan Arm runtuh