Uji tolok ukur kinerja AI, MLPerf, terus mendapatkan pengikut

Pembuat komputer Asus dan H3C bergabung dengan Nvidia dan Qualcomm dalam industri AI untuk kecepatan dan efisiensi komputer.

Rabu, MLCommons, konsorsium industri yang mengawasi tes populer kinerja pembelajaran mesin, MLPerf, merilis laporan tes tolok ukur terbarunya, menunjukkan penganut baru termasuk pembuat komputer ASUS, H3C, dan ZhejiangLab, sebuah lembaga penelitian yang dibentuk oleh pemerintah provinsi Zhejiang di China, Universitas Zhejiang dan ritel China dan raksasa AI Alibaba.

Pihak-pihak tersebut bergabung dengan pengirim yang sering Nvidia, Qualcomm, Dell, dan Microsoft.

Direktur eksekutif MLCommons, David Kanter, memuji rekor jumlah pengajuan, lebih dari 3.900. Hasil tersebut mencakup berbagai komputasi, dari pusat data hingga apa yang dikenal sebagai "TinyML," yang berjalan pada perangkat seperti microchip tertanam yang menyesap sebagian kecil dari satu watt daya. 

"Ini adalah rentang dinamis yang sangat besar," kata Kanter. Kinerja tercepat pada benchmark ResNet-50 adalah jutaan kali lebih cepat daripada sistem paling lambat, katanya. "Sulit untuk beroperasi pada rentang kinerja yang luas, tetapi itu sebenarnya sesuatu yang telah kami lakukan dengan sangat baik."

Misalnya, pengujian untuk inferensi di pusat data cloud, di mana sebagian besar pengajuan diberikan, kali ini melaporkan 926 hasil pengujian yang berbeda, di 84 sistem, oleh 14 pihak. Itu naik dari 754 hasil pengujian yang dilaporkan dari 67 sistem yang diajukan oleh 13 pengirim dalam versi benchmark September.

Berbagai perusahaan yang berpartisipasi dalam upaya empat tahun ini mungkin tidak muncul dari satu laporan ke laporan berikutnya. Misalnya, Intel dan Hewlett Packard Enterprise, yang keduanya memiliki beberapa pengajuan untuk dilaporkan pada bulan September, tidak ada dalam laporan terbaru. 

Di berbagai skor tolok ukur, kata MLCommons, hasil menunjukkan sebanyak 3,3 kali percepatan untuk komputer yang menjalankan tugas jaringan saraf seperti pemrosesan bahasa alami, pengenalan gambar, dan pengenalan suara. 

Sorotan dari laporan kali ini adalah bahwa lebih banyak vendor mengirimkan lebih banyak hasil untuk mengukur konsumsi daya sistem komputer mereka pada tugas AI. Seperti yang dilaporkan ZDNet pada bulan September, jumlah pengajuan untuk konsumsi daya telah anjlok menjadi hanya 350 pengajuan dari 864 dalam laporan April. 

Kali ini, ada 576 hasil daya yang dilaporkan untuk inferensi di pusat data cloud dan di perangkat "edge" cloud, di 30 sistem yang berbeda. Ada 3.948 pengukuran daya lainnya yang dilaporkan oleh Krai, startup AI mode siluman yang selalu mengirimkan sejumlah besar hasil pengujian dalam kategori "Open Edge", di mana pengirim bebas menggunakan pendekatan jaringan saraf non-standar.

Krai melaporkan lebih banyak kombinasi chip kali ini di mana sebelumnya hanya melaporkan akselerator Jetson AGX Xavier dari Nvidia. Kali ini, Krai melaporkan hasil untuk puluhan perangkat komputasi tertanam Raspberry Pi. 

"Kali ini, persentase pengajuan tertutup dengan pengukuran daya naik dari 15,7% menjadi 17,6%, jadi, peningkatan, tetapi kami masih memiliki pekerjaan yang harus dilakukan di sana," kata Kanter. "Tertutup" mengacu pada pengajuan yang mematuhi konfigurasi jaringan saraf tolok ukur MLCommon.

Dalam visi "terbuka", di mana pengajuan dapat mengambil kebebasan dengan pembentukan jaringan saraf, yang didominasi oleh Krai, jumlah pengajuan dengan pengukuran daya melonjak menjadi 86% dari 32%, kata Kanter.

"Kami memiliki beberapa pengirim yang tidak bisa mendapatkan meteran listrik terakhir kali karena masalah rantai pasokan," kata Kanter.

Perluasan pengajuan telah dibantu, kata Kanter, oleh beberapa pendekatan baru yang diadopsi oleh MLCommons. Misalnya, kali ini, pengirim diizinkan untuk menggunakan apa yang disebut "penghentian lebih awal", di mana pengirim dapat menghentikan pengambilan tes mereka sebelum sejumlah "zaman" pelatihan berlalu, daripada berlatih selama mungkin. 

Melakukan hal itu berarti bahwa sistem yang lebih lambat yang akan ditantang bahkan untuk menyelesaikan tes tolok ukur, terutama perangkat berdaya rendah seperti Raspberry Pi, tidak lagi berada pada posisi yang sangat dirugikan. 

"Berhenti lebih awal sangat membantu," kata Kanter. "Jika Anda dapat mengurangi runtime Anda dengan faktor sepuluh, Anda dapat melakukan tolok ukur sepuluh kali lebih banyak." 

Di bagian MLPerf TinyML, di mana tugas tolok ukur mencakup hal-hal seperti latensi dalam mendeteksi "kata bangun" - hal yang mengaktifkan speaker pintar atau asisten AI lainnya - delapan vendor bersaing dengan prosesor baru, termasuk perancang chip komputer Andes Technology. Chip "AndesCore" Andes menggunakan set instruksi komputer RISC-V open-source, yang bersaing dengan ARM dan Intel untuk menjadi set instruksi yang dapat dimodifikasi secara bebas untuk semua jenis perangkat komputasi.

Pada satu tugas umum, "kata-kata bangun visual," yang menggunakan kumpulan data yang dikenal sebagai COCO 14, "objek umum dalam konteks," untuk menguji pengenalan objek dalam gambar, skor tertinggi dalam hal latensi diambil oleh startup Plumerai, yang menciptakan perangkat lunaknya sendiri untuk melatih dan menyebarkan model AI pada mikroprosesor standar.

Menggunakan chip STMicroelectronics dengan inti prosesor ARM Cortex M7, Plumerai memberikan hasil COCO 14 dalam latensi 59,4 milidetik.

Satu-satunya kategori yang mengalami penurunan hasil yang dilaporkan adalah kategori ML seluler, yang terdiri dari hasil untuk ponsel dan laptop. Qualcomm dan Samsung masing-masing mengajukan satu sistem, smartphone, tetapi kategori untuk laptop benar-benar kosong, sedangkan pada bulan Oktober, ia memiliki satu pengajuan dari Intel. 

Ditanya tentang kurangnya laporan untuk seluler, Kanter dari MLCommons mencatat bahwa seluler sulit sebagai kategori karena ponsel adalah lini produk yang tidak ingin dibicarakan oleh siapa pun sebelum ponsel diumumkan, tidak seperti cloud dan edge server yang memiliki siklus hidup produk yang panjang. 

"Banyak anggota seluler [MLCommons] adalah pembuat system-on-chip, dan mereka mungkin tidak ingin menggunakan ponsel mitra mereka dengan cara pra-rilis," kata Kanter. Di sisi lain, ada lebih sedikit motivasi untuk mengirimkan hasil benchmark pada ponsel yang berusia tiga atau empat bulan.

Kanter mengatakan MLCommons sedang mengerjakan cara-cara di masa depan untuk mencoba menjembatani kesenjangan dengan memudahkan pembuat smartphone untuk mengajukan tanpa memberikan pengungkapan produk mereka.

"Dalam jangka panjang, apa yang ingin kami lakukan adalah mendapatkannya sehingga ada cara, jika Anda akan meluncurkan smartphone pada 23 April, katakanlah, Anda dapat muncul di atas panggung dengan nomor MLPerf hari itu, sehingga kami memungkinkan mitra kami dan anggota kami untuk meluncurkan dengan MLPerf, " kata Kanter. 

Pengajuan Qualcomm dan Samsung untuk ponsel terdiri dari ponsel Xiaomi MI12, dalam kasus Qualcomm, dan Samsung Galaxy S22+ 5G, yang memamerkan prosesor masing-masing, Snapdragon 8 Gen1 dan Exynos 2200. Dalam tugas-tugas seperti pengenalan gambar dan pemrosesan bahasa alami, hasil Xiaomi Qualcomm memiliki latensi yang lebih rendah daripada kinerja Samsung Galaxy di sebagian besar pengujian. 

Rincian teknis lebih lanjut tentang pendekatan tolok ukur MLPerf tersedia dalam makalah penelitian asli yang diposting pada tahun 2019 oleh kelompok tersebut.