Dalam tes tolok ukur AI terbaru, sebagian besar Nvidia bersaing dengan Nvidia
Untuk pertama kalinya sejak tes tolok ukur MLPerf pelatihan AI dimulai pada tahun 2018, Nvidia hampir tidak memiliki persaingan dengan chip dominannya.
Karena kurangnya persaingan yang kaya, beberapa hasil Nvidia yang paling signifikan dalam MLPerf terbaru bertentangan dengan dirinya sendiri, membandingkan GPU terbarunya, H100 "Hopper," dengan produk yang ada, A100.
Meskipun raksasa chip Nvidia cenderung membayangi dunia kecerdasan buatan, kemampuannya untuk hanya mendorong persaingan keluar dari pasar mungkin meningkat, jika hasil tes tolok ukur terbaru merupakan indikasi.
Google tidak menanggapi permintaan komentar ZDNET tentang mengapa mereka tidak berpartisipasi kali ini.
Dalam sebuah email, Graphcore mengatakan kepada ZDNET bahwa perusahaan telah memutuskan untuk saat ini mungkin memiliki tempat yang lebih baik untuk mencurahkan waktu para insinyurnya daripada berminggu-minggu atau berbulan-bulan yang diperlukan untuk mempersiapkan pengajuan untuk MLPerf.
"Masalah pengembalian yang berkurang muncul," kepala komunikasi Graphcore, Iain Mackenzie, mengatakan kepada ZDNET melalui email, "Dalam arti bahwa akan ada lompatan yang tak terhindarkan tanpa batas, beberapa detik lebih lanjut dicukur dan konfigurasi sistem yang semakin besar dikemukakan."
Graphcore "dapat berpartisipasi dalam putaran MLPerf di masa depan, tetapi saat ini tidak mencerminkan area AI di mana kami melihat kemajuan yang paling menarik," kata Mackenzie kepada ZDNET. Tugas MLPerf hanyalah "taruhan meja".
Sebaliknya, dia berkata, "Kami ingin benar-benar memfokuskan energi kami" pada "membuka kemampuan baru bagi praktisi AI." Untuk itu, "Anda dapat berharap untuk melihat beberapa kemajuan yang menarik segera" dari Graphcore, kata Mackenzie, "Misalnya dalam sparsifikasi model, serta dengan GNN," atau Graph Neural Networks.
Selain chip Nvidia yang mendominasi persaingan, semua sistem komputer yang mencapai skor tertinggi adalah yang dibangun oleh Nvidia daripada dari mitra. Itu juga merupakan perubahan dari putaran tes benchmark sebelumnya. Biasanya, beberapa vendor, seperti Dell, akan mencapai nilai tertinggi untuk sistem yang mereka kumpulkan menggunakan chip Nvidia. Kali ini, tidak ada vendor sistem yang mampu mengalahkan Nvidia dalam penggunaan chip Nvidia sendiri.
Tes tolok ukur pelatihan MLPerf melaporkan berapa menit yang diperlukan untuk menyetel "bobot" atau parameter saraf, sampai program komputer mencapai akurasi minimum yang diperlukan pada tugas tertentu, sebuah proses yang disebut sebagai "pelatihan" jaringan saraf, di mana jumlah waktu yang lebih singkat lebih baik.
Meskipun skor teratas sering menjadi berita utama - dan ditekankan kepada pers oleh vendor - pada kenyataannya, hasil MLPerf mencakup berbagai macam sistem dan berbagai skor, bukan hanya satu skor teratas.
Dalam percakapan melalui telepon, direktur eksekutif MLCommons, David Kanter, mengatakan kepada ZDNET untuk tidak hanya fokus pada skor teratas. Kanter mengatakan nilai dari benchmark suite untuk perusahaan yang mengevaluasi pembelian perangkat keras AI adalah memiliki serangkaian sistem yang luas dengan berbagai ukuran dengan berbagai jenis kinerja.
Pengajuan, yang berjumlah ratusan, berkisar dari mesin dengan hanya beberapa mikroprosesor biasa hingga mesin yang memiliki ribuan prosesor host dari AMD dan ribuan GPU Nvidia, jenis sistem yang mencapai skor tertinggi.
"Ketika datang ke pelatihan dan inferensi ML, ada berbagai macam kebutuhan untuk semua tingkat kinerja yang berbeda," kata Kanter kepada ZDNET, "Dan bagian dari tujuannya adalah untuk memberikan ukuran kinerja yang dapat digunakan pada semua skala yang berbeda itu."
Kanter melanjutkan, "Ada banyak nilai dalam informasi tentang beberapa sistem yang lebih kecil seperti dalam sistem skala yang lebih besar ... Semua sistem ini sama-sama relevan dan penting, tetapi mungkin untuk orang yang berbeda."
Adapun kurangnya partisipasi oleh Graphcore dan Google kali ini, Kanter mengatakan, "Saya ingin melihat lebih banyak pengajuan," juga menambahkan, "Saya mengerti bagi banyak perusahaan, mereka mungkin harus memilih bagaimana mereka menginvestasikan sumber daya teknik. ... Saya pikir Anda akan melihat hal-hal ini pasang surut dari waktu ke waktu di putaran yang berbeda" dari tolok ukur.
Efek sekunder yang menarik dari kurangnya persaingan untuk Nvidia berarti bahwa beberapa skor tertinggi untuk beberapa tugas pelatihan tidak hanya menunjukkan peningkatan dari waktu sebelumnya melainkan regresi.
Misalnya, dalam tugas ImageNet yang terhormat, di mana jaringan saraf dilatih untuk menetapkan label pengklasifikasi ke jutaan gambar, hasil teratas kali ini adalah hasil yang sama dengan yang berada di tempat ketiga pada bulan Juni, sistem yang dibangun Nvidia yang membutuhkan waktu 19 detik untuk dilatih. Hasil pada bulan Juni itu telah membuntuti hasil dari chip "TPU" Google, yang hanya 11,5 detik dan 14 detik.
Ditanya tentang pengulangan pengajuan sebelumnya, Nvidia mengatakan kepada ZDNET melalui email bahwa fokusnya adalah pada chip H100 kali ini, bukan A100. Nvidia juga mencatat ada kemajuan sejak hasil A100 pertama pada tahun 2018. Dalam putaran tolok ukur pelatihan itu, sistem Nvidia delapan arah membutuhkan waktu hampir 40 menit untuk melatih ResNet-50. Dalam hasil minggu ini, waktu itu telah dipotong menjadi di bawah 30 menit.
Nvidia juga berbicara tentang keunggulan kecepatannya dibandingkan chip Intel Gaudi2 AI dan prosesor Sapphire Rapids XEON yang akan datang.
Ditanya tentang kelangkaan pengajuan kompetitif dan kelangsungan hidup MLPerf, Salvatore dari Nvidia mengatakan kepada wartawan, "Itu pertanyaan yang adil," menambahkan, "Kami melakukan semua yang kami bisa untuk mendorong partisipasi; tolok ukur industri berkembang dengan partisipasi. Harapan kami bahwa karena beberapa solusi baru terus datang ke pasar dari yang lain, bahwa mereka ingin memamerkan manfaat dan kebaikan solusi tersebut dalam tolok ukur standar industri dibandingkan dengan menawarkan klaim kinerja satu kali mereka sendiri, yang sangat sulit untuk diverifikasi."
Elemen kunci MLPerf, kata Salvatore, adalah menerbitkan pengaturan dan kode pengujian secara ketat untuk menjaga hasil pengujian tetap jelas dan konsisten di ratusan pengajuan dari lusinan perusahaan.
Di samping skor tolok ukur pelatihan MLPerf, rilis hari Rabu oleh MLCommons juga menawarkan hasil tes untuk HPC, artinya, komputasi ilmiah, dan superkomputer. Pengajuan tersebut termasuk campuran sistem dari Nvidia dan mitra dan juga superkomputer Fugaku Fujitsu yang menjalankan chipnya sendiri.
Kompetisi ketiga, yang disebut TinyML, mengukur seberapa baik chip berdaya rendah dan tertanam saat melakukan inferensi, bagian dari pembelajaran mesin di mana jaringan saraf terlatih membuat prediksi.
Kompetisi itu, di mana Nvidia sejauh ini belum berpartisipasi, memiliki keragaman chip yang menarik dan kiriman dari vendor, seperti pembuat chip Silicon Labs dan Qualcomm, raksasa teknologi Eropa STMicroelectronics, dan startup OctoML, Syntiant, dan GreenWaves Technologies.
Dalam satu tes TinyML, tes pengenalan gambar menggunakan kumpulan data CIFAR dan jaringan saraf ResNet, GreenWaves (yang berkantor pusat di Grenoble, Prancis), mengambil skor tertinggi karena memiliki latensi terendah untuk memproses data dan menghasilkan prediksi. Perusahaan menyerahkan akselerator AI Gap9 yang dikombinasikan dengan prosesor RISC.
Dalam sambutan yang disiapkan, GreenWaves menyatakan bahwa Gap9 "memberikan konsumsi energi yang sangat rendah pada jaringan saraf dengan kompleksitas sedang, seperti seri MobileNet dalam tugas klasifikasi dan deteksi, tetapi juga pada jaringan saraf berulang presisi campuran yang kompleks, seperti denoiser audio berbasis LSTM kami."