Bagaimana cetak biru IBM untuk transformasi industri memanfaatkan AI, 5G, dan kolaborasi

Google memilih untuk bersaing hanya dalam setengah tolok ukur, sementara Nvidia dan mitranya sekali lagi mendominasi hasil di semua tes tolok ukur.

Direktur MLCommons David Kanter menegaskan bahwa peningkatan dalam arsitektur perangkat keras dan perangkat lunak pembelajaran mendalam telah menghasilkan peningkatan kinerja pada AI yang sepuluh kali lipat dari yang diharapkan dari peningkatan penskalaan chip tradisional saja. 

Google dan Nvidia membagi skor tertinggi untuk tes tolok ukur dua kali setahun dari pelatihan program kecerdasan buatan, menurut data yang dirilis Rabu oleh MLCommons, konsorsium industri yang mengawasi tes populer kinerja pembelajaran mesin, MLPerf.

Hasil pelatihan MLPerf versi 2.0 menunjukkan Google mengambil skor teratas dalam hal jumlah waktu terendah untuk melatih jaringan saraf pada empat tugas untuk sistem yang tersedia secara komersial: pengenalan gambar, deteksi objek, satu tes untuk gambar kecil dan satu untuk gambar besar, dan model pemrosesan bahasa alami BERT. 

Nvidia mengambil penghargaan tertinggi untuk empat dari delapan tes lainnya, untuk sistemnya yang tersedia secara komersial: segmentasi gambar, pengenalan suara, sistem rekomendasi, dan memecahkan tugas pembelajaran penguatan bermain Go pada kumpulan data "mini Go".

Kedua perusahaan memiliki skor tinggi untuk beberapa tes benchmark, namun, Google tidak melaporkan hasil untuk sistem yang tersedia secara komersial untuk empat tes lainnya, hanya untuk empat tes yang dimenangkannya. Nvidia melaporkan hasil untuk kedelapan tes.

Tes tolok ukur melaporkan berapa menit yang diperlukan untuk menyetel "bobot" atau parameter saraf, sampai program komputer mencapai akurasi minimum yang diperlukan pada tugas tertentu, sebuah proses yang disebut sebagai "pelatihan" jaringan saraf. 

Di semua vendor, waktu pelatihan menunjukkan peningkatan yang signifikan berkat tenaga kuda yang lebih besar dan pendekatan perangkat lunak yang lebih cerdas. Dalam sebuah briefing media, direktur eksekutif MLCommons, David Kanter menjelaskan bahwa secara umum, hasilnya menunjukkan bahwa pelatihan telah meningkat dalam kinerja lebih baik daripada Hukum Moore, aturan praktis tradisional yang mengatakan penggandaan chip dalam transistor setiap 18 hingga 24 bulan mempercepat kinerja komputer. 

Skor pada tugas ImageNet yang terhormat, misalnya, di mana jaringan saraf dilatih untuk menetapkan label pengklasifikasi ke jutaan gambar, adalah 9 hingga 10 kali lebih cepat hari ini daripada yang tersirat dari peningkatan chip sederhana, kata Kanter. 

"Kami telah melakukan jauh lebih baik daripada Hukum Moore," kata Kanter. "Anda akan berharap untuk mendapatkan kinerja sekitar tiga setengah kali lebih baik, dengan asumsi bahwa transistor berhubungan secara linier dengan kinerja; ternyata, kita mendapatkan 10x Hukum Moore."

Manfaatnya menetes ke "pria atau wanita biasa," kata Kanter, "peneliti dengan satu workstation" yang hanya berisi 8 chip, katanya. 

Nvidia, yang mendominasi penjualan chip GPU yang merupakan mayoritas komputasi AI di dunia, secara rutin mengirimkan hasil untuk sebagian besar atau semua tes. Workstation tunggal itu melihat peningkatan atau 4 hingga 8 kali penskalaan transistor sederhana, katanya. "Kami menempatkan lebih banyak kemampuan ke tangan para peneliti, yang memungkinkan kami untuk menjalankan lebih banyak eksperimen dan, mudah-mudahan, membuat lebih banyak penemuan."

Google, yang TPU-nya adalah salah satu pesaing utama chip Nvidia, memiliki rekam jejak yang jauh lebih tidak konsisten dengan MLPerf. Dalam laporan tolok ukur bulan Desember, perusahaan hanya menyerahkan satu nomor tes, untuk penggunaan eksperimental TPU pada tes BERT.

Google mengatakan dalam sambutan yang disiapkan, "Superkomputer ML TPU v4 [versi 4] Google mencetak rekor kinerja pada lima tolok ukur, dengan percepatan rata-rata 1,42x dibandingkan pengiriman non-Google tercepat berikutnya, dan 1,5x vs pengiriman MLPerf 1.0 kami." 

Referensi Google ke lima tolok ukur mencakup skor terbaik yang dilaporkan pada sistem rekomendasi untuk sistem penelitian yang tidak tersedia secara komersial. 

Ditanya oleh ZDNet mengapa Google memilih untuk bersaing dengan sistem komersial dalam empat kategori dan bukan empat kategori lainnya, perusahaan mengatakan dalam tanggapan email, "Maksud kami dengan pengajuan adalah untuk fokus terutama pada beban kerja yang memaksimalkan manfaat di luar MLPerf bagi kami.

"Kami membuat keputusan tentang model mana yang akan dikirimkan berdasarkan kemiripannya dengan model ML yang digunakan di dalam Google dan oleh pelanggan Google Cloud. Mengirimkan dan menyetel tolok ukur adalah jumlah pekerjaan yang signifikan sehingga kami memfokuskan upaya kami untuk memaksimalkan manfaat di luar MLPerf bagi kami. 

"Mengingat hal ini, kami memfokuskan upaya kami pada empat tolok ukur untuk kategori Cloud yang tersedia - BERT, ResNet, RetinaNet, MaskRCNN." 

Nvidia menekankan ruang lingkup pengajuan yang komprehensif dengan sendirinya dan oleh mitra termasuk Dell dan Lenovo. Komputer yang menggunakan chip Nvidia dari satu jenis atau lainnya bertanggung jawab atas 105 sistem dan 235 hasil pengujian yang dilaporkan dari total 264 hasil yang dilaporkan.

"NVIDIA dan mitranya terus memberikan kinerja pelatihan AI terbaik secara keseluruhan dan pengajuan terbanyak di semua tolok ukur dengan 90% dari semua entri berasal dari ekosistem, menurut tolok ukur MLPerf yang dirilis hari ini," kata eksekutif Nvidia Shar Narasimhan dalam sambutan yang disiapkan.

"Platform NVIDIA AI mencakup kedelapan tolok ukur dalam putaran MLPerf Training 2.0, menyoroti keserbagunaannya yang terkemuka."

Dalam satu slide, Narasimhan menunjukkan apa yang dia katakan sebagai pengukuran "normal" yang mencoba mencapai kinerja per akselerator, mengingat bahwa pengajuan mesin yang berbeda menggunakan jumlah chip akselerator yang berbeda. Ukuran ini, kata Narasimhan, menunjukkan Nvidia berada di puncak dalam kinerja pada 6 dari 8 tes. 

"Kami percaya bahwa metodologi khusus untuk menunjukkan kinerja tertinggi yang dinormalisasi menjadi 1,0 X dan kemudian menunjukkan semua akselerator yang tersisa pada skala yang sama sebagai perbandingan adalah cara paling adil untuk membandingkan semua orang," kata Narasimhan.

Di antara perkembangan lainnya, tes MLPerf terus mendapatkan penganut dan mengumpulkan lebih banyak hasil tes daripada sebelumnya. Sebanyak 21 organisasi melaporkan 264 hasil tes, naik dari 14 organisasi dan 181 melaporkan pengajuan dalam laporan versi 1.1 Desember.   

Pendatang baru termasuk Asustek; Akademi Ilmu Pengetahuan Cina, atau CASIA; pembuat komputer H3C; HazyResearch, nama yang diajukan oleh satu mahasiswa pascasarjana; Krai, yang telah berpartisipasi dalam kompetisi MLPerf lainnya, kesimpulan, tetapi belum pernah sebelumnya dalam pelatihan; dan startup MosaicML.

Di antara lima sistem komersial teratas, Nvidia dan Google diikuti oleh segelintir pengirim yang berhasil mencapai tempat ketiga, keempat atau kelima. 

Unit cloud Microsoft Azure menempati posisi kedua dalam kompetisi segmentasi gambar, tempat keempat dalam kompetisi deteksi objek dengan gambar resolusi tinggi, dan tempat ketiga dalam kompetisi pengenalan suara, semuanya menggunakan sistem dengan prosesor AMD EPYC dan GPU Nvidia.

Pembuat komputer H3C menempati posisi kelima dalam empat pengujian, kompetisi segmentasi gambar, kompetisi deteksi objek dengan gambar beresolusi tinggi, mesin rekomendasi, dan bermain game Go, dan juga mampu mencapai tempat keempat dalam pengenalan suara. Semua sistem tersebut menggunakan prosesor Intel XEON dan GPU Nvidia.

Dell Technologies menempati posisi keempat dalam deteksi objek dengan gambar beresolusi rendah, dan tempat kelima dalam tes bahasa alami BERT, baik dengan sistem yang menggunakan prosesor AMD dan GPU Nvidia.

Pembuat komputer Inspur menempati posisi kelima dalam pengenalan suara dengan sistem yang menggunakan prosesor AMD EPYC dan GPU Nvidia, dan memegang hasil tempat ketiga dan keempat dalam sistem rekomendasi, masing-masing dengan sistem berbasis XEON dan EPYC. 

Graphcore, startup yang berbasis di Bristol, Inggris yang membangun komputer dengan pendekatan chip dan perangkat lunak alternatif, menempati posisi kelima di ImageNet. Penyedia solusi TI Nettrix menempati  posisi keempat dalam kompetisi segmentasi gambar dan tempat keempat dalam tantangan pembelajaran penguatan Go.

Lima pengirim teratas di masing-masing dari delapan tes tolok ukur, dengan jumlah menit yang mereka butuhkan untuk melatih jaringan saraf yang terdaftar untuk tugas yang terdaftar. Jumlah yang lebih kecil berarti lebih sedikit waktu untuk berlatih, yang lebih baik.

Dalam sebuah briefing untuk jurnalis, Graphcore menekankan kemampuannya untuk memberikan skor kompetitif versus Nvidia dengan harga lebih rendah untuk mesin BowPOD dengan jumlah chip akselerator IPU yang bervariasi. Perusahaan menggembar-gemborkan BowPOD256-nya, misalnya, yang memiliki skor tempat kelima dalam pengenalan gambar ResNet, sepuluh kali lebih cepat daripada sistem Nvidia DGX 8 arah, dengan biaya lebih murah.

"Yang paling penting adalah ekonomi," kata kepala perangkat lunak Graphcore, Matt Fyles, dalam sebuah konferensi media. "Kami memiliki tren di masa lalu mesin menjadi lebih cepat tetapi lebih mahal, tetapi kami telah menarik garis di pasir, kami tidak akan membuatnya lebih mahal."

Meskipun beberapa mesin Graphcore yang lebih kecil membuntuti skor terbaik atau Nvidia dan Graphcore dengan beberapa menit waktu pelatihan, "Tidak ada pelanggan kami yang peduli tentang beberapa menit, yang mereka pedulikan adalah apakah Anda kompetitif dan Anda kemudian dapat memecahkan masalah yang mereka pedulikan," katanya. 

Fyles menambahkan, "Ada banyak proyek dengan ribuan chip, tetapi sekarang industri akan memperluas apa lagi yang dapat Anda lakukan dengan platform daripada hanya, Kami harus memenangkan kompetisi tolok ukur ini - itulah perlombaan ke bawah."

Seperti dalam laporan sebelumnya, Advanced Micro Devices memiliki hak menyombongkan diri atas Intel. Prosesor server EPYC atau ROME AMD digunakan di 79 dari 130 sistem yang dimasukkan, proporsi yang lebih besar daripada chip Intel XEON. Selain itu, 33 dari 40 hasil teratas di delapan tes benchmark adalah sistem berbasis AMD.

Seperti di masa lalu, Intel, selain memiliki prosesor XEON di sistem mitra, juga membuat entri sendiri dengan unit Habana Labs-nya, menggunakan XEON yang digabungkan dengan chip akselerator Habana Gaudi alih-alih GPU Nvidia. Intel memfokuskan upaya hanya pada tes bahasa alami BERT tetapi gagal memecahkan lima besar. 

Tujuh dari delapan tes benchmark semuanya sama dengan kompetisi Desember. Satu-satunya entri baru adalah pengganti salah satu tugas deteksi objek, di mana komputer harus menguraikan objek dalam gambar dan menempelkan label pada garis besar yang mengidentifikasi objek. 

Dalam versi baru ini, kumpulan data COCO dan jaringan saraf SSD yang banyak digunakan diganti dengan kumpulan data baru, OpenImages, dan jaringan saraf baru, RetinaNet. 

OpenImages menggunakan file gambar yang lebih tinggi dari 1.200 x 1.600 piksel. Tugas deteksi objek lainnya masih menggunakan COCO, yang menggunakan gambar resolusi lebih rendah, 640 x 480 piksel.

Dalam pengarahan media, Kanter dari MLCommons menjelaskan bahwa kumpulan data OpenImages dikombinasikan dengan jaringan saraf tolok ukur baru untuk digunakan pengirim.  Jaringan sebelumnya didasarkan pada jaringan saraf ResNet klasik untuk pengenalan gambar dan segmentasi gambar.

Alternatif yang digunakan dalam tes baru, yang disebut RetinaNet, meningkatkan akurasi melalui beberapa peningkatan pada struktur ResNet. Misalnya, ia menambahkan apa yang disebut "piramida fitur", yang melihat semua tampilan pada konteks di sekitar objek, di semua lapisan jaringan, secara bersamaan, bukan hanya satu lapisan jaringan, yang menambahkan konteks untuk memungkinkan klasifikasi yang lebih baik. 

"Piramida fitur adalah teknik dari visi komputer klasik, jadi ini dalam beberapa hal merupakan riff pada pendekatan klasik yang diterapkan dalam domain jaringan saraf," kata Kanter. 

Selain piramida fitur, arsitektur yang mendasari RetinaNet, yang disebut ResNeXt, menangani konvolusi dengan inovasi baru di ResNet. ResNet Klasik menggunakan apa yang disebut "konvolusi padat" untuk memfilter piksel berdasarkan tinggi dan lebar gambar serta saluran RGB. ResNeXt memecah filter RGB menjadi filter terpisah yang dikenal sebagai "konvolusi yang dikelompokkan." Kelompok-kelompok itu, yang beroperasi secara paralel, belajar untuk mengkhususkan diri dalam aspek saluran warna. Itu juga berkontribusi pada akurasi yang lebih besar.