Masa depan AI adalah cerita perangkat lunak, kata CEO Graphcore
Meskipun dikenal dengan perangkat keras komputer yang sangat besar, pembuat komputer AI Graphcore memiliki situs yang ditetapkan pada pertempuran dengan Nvidia untuk ekosistem perangkat lunak, kata CEO Nigel Toon.
"Kami mungkin masih pada tahap Pac Man, kami belum sampai ke game tiga dimensi," sejauh evolusi AI, kata CEO Graphcore Nigel Toon.
"Kesalahpahaman di sini adalah bahwa ini adalah masalah perangkat lunak yang harus diselesaikan daripada masalah perangkat keras," kata Nigel Toon, chief executive officer startup komputer AI Graphcore.
Graphcore dikenal karena membuat sistem komputer yang memiliki ratusan ribu inti prosesor di dalam setiap "unit pemrosesan intelijen", atau IPU, chip, untuk mengatasi masalah kecerdasan buatan.
Mesin terbarunya memiliki chip IPU, "Bow," yang terdiri dari dua die semikonduktor yang ditumpuk satu di atas yang lain.
Namun, Toon, yang berada di kota minggu lalu dari kantor pusat Graphcore di Bristol, Inggris, mengatakan kepada ZDNet bahwa perangkat lunak adalah inti dari tantangan yang sangat besar dari masalah AI yang semakin besar, sedangkan perangkat keras, meskipun tidak berarti sepele, dalam arti tertentu, sekunder.
"Anda dapat membangun semua jenis perangkat keras eksotis, tetapi jika Anda tidak dapat benar-benar membangun perangkat lunak yang dapat menerjemahkan dari kemampuan seseorang untuk menggambarkan pada tingkat yang sangat sederhana menjadi perangkat keras, Anda tidak benar-benar menghasilkan solusi," kata Toon saat makan siang di kafe The Grey Dog di lingkungan Union Square Manhattan.
Itu adalah salah satu dari banyak perjalanan Toon sejak penguncian pandemi telah memudar. Dia senang kembali bertemu dengan pelanggan. "Senang bisa bepergian lagi," katanya, dan bertatap muka.
Di antara poin-poin yang harus ditekankan pada ayunannya melalui AS adalah faktor perangkat lunak. Secara khusus, kemampuan perangkat lunak Poplar Graphcore, yang menerjemahkan program yang ditulis pada kerangka kerja AI seperti PyTorch atau TensorFlow ke kode mesin yang efisien.
Faktanya, tindakan penerjemahan yang merupakan kunci AI, Toon berpendapat. Apa pun perangkat keras yang Anda buat, tantangannya adalah bagaimana menerjemahkan dari apa yang dilakukan programmer PyTorch atau TensorFlow ke transistor apa pun yang tersedia.
Konsepsi umum adalah bahwa perangkat keras AI adalah tentang mempercepat perkalian matriks, blok bangunan pembaruan bobot bersih saraf. Tapi, pada dasarnya, tidak.
"Apakah itu hanya perkalian matriks, dan apakah itu hanya konvolusi yang kita butuhkan, atau apakah ada operasi lain yang kita butuhkan?" tanya Toon, retoris.
Bahkan, katanya, "ini lebih tentang kompleksitas data."
Jaringan saraf yang besar, kata Toon, seperti GPT-3, adalah "benar-benar memori terkait," sehingga koneksi antara data adalah apa yang penting, dan pergerakan hal-hal masuk dan keluar dari memori menjadi hambatan untuk komputasi.
Toon sangat akrab dengan masalah koneksi seperti itu. Toon menghabiskan empat belas tahun di pembuat chip yang dapat diprogram Altera, kenangnya, kemudian dibeli oleh Intel. Chip logika yang dapat diprogram, yang dikenal sebagai "FPGA", beroperasi dengan memiliki blok komputernya, yang disebut sel, dihubungkan untuk setiap tugas dengan membakar sekering di antara mereka.
"Semua perangkat lunak" FPGA "adalah tentang bagaimana Anda mengambil grafik, yang merupakan daftar bersih atau RTL Anda, dan menerjemahkannya ke dalam interkoneksi di dalam FPGA," jelasnya.
Tugas perangkat lunak semacam itu menjadi sangat kompleks.
"Anda membangun hierarki interkoneksi di dalam chip untuk mencoba membuatnya bekerja, tetapi, dari sudut pandang perangkat lunak, itu adalah masalah NP-Hard untuk memetakan grafik ke interkoneksi," katanya, mengacu pada "waktu polinomial non-deterministik," ukuran kompleksitas komputasi.
Karena ini tentang menerjemahkan kompleksitas asosiasi ke dalam transistor, "ini benar-benar masalah grafik, itulah mengapa kami menamai perusahaan Graphcore," kata Toon. Secara umum, grafik adalah totalitas saling ketergantungan antara tugas komputasi yang berbeda dalam program tertentu.
"Anda harus mulai dari pendekatan ilmu komputer yang mengatakan, Ini akan menjadi grafik, Anda perlu membangun prosesor untuk mengerjakan grafik, untuk melakukan pemrosesan grafik yang sangat paralel."
"Kami membangun perangkat lunak dari itu, kami membangun prosesor," katanya.
Itu berarti perangkat keras hanya melayani perangkat lunak. "Komputer mengikuti struktur data," Toon berpendapat. "Ini masalah perangkat lunak."
Itu adalah kesempatan Toon untuk menggunakan perangkat lunak CUDA Nvidia, yang memiliki kekuatan luar biasa di dunia AI.
"Ini menarik: banyak orang mengatakan bahwa CUDA entah bagaimana adalah ekosistem yang membuat orang lain tidak mungkin bersaing," kata Toon. "Tapi apa yang Anda salah pahami adalah tidak ada yang memprogram di CUDA, tidak ada yang ingin memprogram di CUDA, orang-orang ingin memprogram di TensorFlow dan sekarang PyTorch, dan selanjutnya, JAX - mereka menginginkan konstruksi tingkat tinggi," katanya, mengacu pada berbagai pustaka pengembangan open-source yang dibangun oleh Meta dan Google dan lainnya.
"Semua kerangka kerja itu adalah kerangka kerja grafik," dia mengamati, "Anda menggambarkan grafik yang cukup abstrak, dengan operator besar di inti dari masing-masing elemen di dalam grafik."
Nvidia, kata Toon, "telah membangun seperangkat pustaka yang luar biasa untuk diterjemahkan dari abstraksi tingkat tinggi yang membuat programmer merasa nyaman — itulah bagian yang telah dilakukan Nvidia, bukan CUDA yang tentu."
Masukkan penawaran pesaing Graphcore, Poplar, hal yang diterjemahkan dari PyTorch dan sisanya menjadi apa yang dia katakan adalah perangkat keras Graphcore yang lebih efisien. Poplar membongkar grafik komputasi dan menerjemahkannya ke gerbang apa pun yang ada di perangkat keras Graphcore hari ini, dan apa pun yang akan menggantikan gerbang itu besok.
Namun, ada skeptisisme tentang Graphcore, atau salah satu dari banyak calon muda lainnya, seperti Cerebras Systems dan SambaNova, bersaing dengan Nvidia pada perpustakaan yang dirujuk oleh Toon. Dalam sebuah editorial pada bulan April, editor Linley Gwennap dari Microprocessor Report yang bergengsi, menulis bahwa "perangkat lunak, bukan perangkat keras," masih menjadi masalah. Gwennap berpendapat waktu untuk menutup kesenjangan memudar untuk Graphcore dan lainnya karena Nvidia terus menjadi lebih baik dengan peningkatan perangkat keras seperti Hopper.
Apakah para skeptis seperti Gwennap tidak menghargai kemajuan perangkat lunak Poplar?
"Ini adalah sebuah perjalanan," kata Toon. "Jika Anda terlibat dengan Poplar dua tahun lalu, Anda akan berkata, Itu tidak cukup baik; jika Anda terlibat dengan Poplar sekarang, Anda akan mengatakan, itu sebenarnya cukup bagus.
"Dan dalam waktu dua tahun, orang akan berkata, Wow, ini memungkinkan saya untuk melakukan hal-hal yang tidak dapat saya lakukan di GPU."
Perangkat lunak ini sudah, Toon menegaskan, ekosistemnya sendiri yang berkembang. "Lihatlah ekosistem yang telah kami buat di sekitar Poplar, hal-hal seperti PyTorch Lightning, PyTorch Geometric," dua ekstensi PyTorch yang di-porting ke Poplar dan chip IPU Graphcore.
"Ini bukan hanya TensorFlow, ini adalah seluruh suite," katanya."TensorFlow baik-baik saja untuk peneliti AI, tetapi ini bukan lingkungan di mana ilmuwan data, individu, atau perusahaan yang sangat besar dapat datang dan bermain."
Praktisi, versus ilmuwan, membutuhkan alat yang dapat diakses. "Kami bekerja dengan Hugging Face, Weights and Biases," di antara alat pembelajaran mesin lainnya, katanya. "Ada banyak perpustakaan lain yang keluar, ada perusahaan yang membangun layanan di atas IPU," dan, "ada MLOps yang telah dipindahkan untuk bekerja dengan Poplar."
Graphcore "jauh lebih maju dalam hal membangun ekosistem perangkat lunak untuk menciptakan kemudahan penggunaan, dengan cara itu orang bisa masuk," katanya, dibandingkan dengan Cerebras dan pesaing lainnya.
Faktanya, ini bermuara pada duopoli perangkat lunak, Toon bertahan. "Anda melihat orang lain, bahkan perusahaan besar, tidak ada orang lain yang memilikinya selain kami dan Nvidia, berbagai ekosistem itu."
Sementara itu, dia mengklaim, kemajuan perangkat keras Nvidia tidak semuanya retak karena kebebasan desain Nvidia dibatasi oleh kesuksesannya sendiri. "Apa yang dilakukan Nvidia? Mereka telah menambahkan inti Tensor, dan sekarang mereka telah menambahkan inti Transformer — mereka tidak dapat mengubah inti dasar prosesor karena jika mereka melakukannya, semua pustaka harus dibuang."
Sementara Graphcore masih membuntuti Nvidia dalam sebagian besar tolok ukur pada rangkaian pengujian industri MLPerf, kombinasi Poplar dan desain IPU memberikan keunggulan yang terukur dalam kasus-kasus tertentu di mana hal itu dapat diterapkan dengan bijaksana, klaimnya.
"Pada beberapa model, seperti jaringan saraf grafik, misalnya, kami melihat kinerja lima atau sepuluh kali lipat dibandingkan dengan mesin berbasis Nvidia, katanya, "karena struktur data, arsitektur yang mendasari yang kami bangun di dalam IPU, lebih selaras dengan jenis komputasi grafik yang jarang."
Perangkat lunak Poplar juga telah mencapai dua hingga tiga kali kecepatan dalam menjalankan model Transformer dengan menemukan cara cerdas untuk memaljatkan elemen grafik, katanya.
Premis bahwa perangkat lunak adalah medan pertempuran, dan bahwa Nvidia dapat memiliki persaingan nyata, bertekad bahwa AI itu sendiri masih sangat berkembang. Ada banyak landasan pacu untuk program AI menjadi lebih besar, Toon bertahan, membebani kemampuan komputasi.
Dan masalah mendasar untuk memecahkan kode kognisi manusia masih jauh.
Pada skor pertama, program, memang, semakin besar setiap saat.
Model AI terbesar saat ini, hal-hal seperti Nvidia dan Megatron-Turing NLG Microsoft, model generatif bahasa alami yang berasal dari inovasi Transformer tahun 2017, memiliki setengah triliun parameter, atau, bobot, elemen dalam jaringan saraf yang disetel dan analog untuk sinapsis di neuron manusia nyata.
Beberapa, termasuk Cerebras, telah menunjuk ke masa depan triliunan, bahkan ratusan triliun parameter, dan Toon menggemakan sentimen itu.
"Saat Anda meningkatkan jumlah parameter, dan Anda meningkatkan jumlah data," kata Toon, "Anda meningkatkan komputasi dengan perkalian dari dua bagian itu, dan itulah mengapa ada peternakan GPU besar yang berkembang."
Angka 100 triliun adalah semacam target magis karena diyakini sebagai jumlah sinapsis di otak manusia, sehingga berfungsi sebagai semacam tolok ukur.
Jelas tidak ada kontroversi tentang masalah yang lebih besar dan lebih besar, mengingat bahwa Graphcore dan Nvidia dan semua orang membangun mesin yang semakin kuat untuk itu.
Toon tertarik pada poin kedua, bagaimanapun, pertanyaan ilmu komputer tentang apakah sesuatu yang berguna dilakukan dengan semua itu, dan apakah itu dapat mendekati kecerdasan manusia.
"Tantangannya adalah, Anda tahu, jika Anda memiliki model yang seratus triliun parameter, apakah itu akan membuatnya sepintar manusia?" kata Toon.
Ini adalah masalah tidak hanya melemparkan transistor pada masalah ini, tetapi salah satu merancang sistem.
"Anda tahu, apakah kita benar-benar tahu bagaimana melatihnya?" artinya, latih jaringan saraf setelah memiliki bobot 100 triliun. "Apakah kita tahu bagaimana memberikannya informasi yang tepat? Apakah kita tahu bagaimana membangun model itu dengan cara yang benar-benar cocok dengan kecerdasan manusia, atau apakah itu akan sangat tidak efisien meskipun ada lebih banyak parameter?"
Dengan kata lain, "Bisakah kita benar-benar tahu bagaimana membangun mesin yang sesuai dengan kecerdasan otak?"
Salah satu jawaban, dia tawarkan, adalah spesialisasi. Model seratus triliun parameter bisa sangat bagus dalam sesuatu yang didefinisikan secara sempit. "Dalam sistem seperti [algoritma DeepMind untuk bermain] Atari, Anda memiliki cukup kendala sehingga Anda dapat memahami dunia itu," kata Toon.
Demikian pula, "Mungkin kita bisa membangun pemahaman yang cukup, misalnya, tentang bagaimana sel bekerja, dan bagaimana DNA diubah menjadi RNA hingga protein, sehingga Anda dapat memiliki sistem pembelajaran penguatan yang akan menggunakan pemahaman itu untuk bekerja, misalnya, Oke, jadi bagaimana saya bisa melipat protein sedemikian rupa sehingga jika terikat pada sel ini, dan saya bisa berkomunikasi dengan sel - dan katakanlah sel itu adalah sel kanker - saya bisa menempelkan obat ke protein itu, dan itu bisa memperbaiki kanker," renung Toon.
"Ini akan sedikit seperti game Atari yang dibangun DeepMind yang menjadi manusia super, sistem manusia super dalam membunuh kanker - itu akan dikhususkan."
Pendekatan lain, dia menyarankan, adalah "pemahaman yang lebih umum tentang dunia" yang akan mirip dengan bagaimana bayi manusia belajar, dengan "terpapar pada sejumlah besar data tentang dunia." Masalah sinapsis seratus triliun kemudian akan menjadi salah satu konstruksi "hierarki," kata Toon.
"Manusia membangun hierarki pemahaman dunia," katanya, dan kemudian mereka "menginterpolasi" dengan mengisi kekosongan. "Anda menggunakan hal-hal yang Anda ketahui untuk mengekstrapolasi, dan membayangkan," katanya.
"Manusia sangat buruk dalam mengekstrapolasi; apa yang jauh lebih baik dalam hal interpolasi, Anda tahu, ada beberapa bagian yang hilang — saya tahu ini, saya tahu ini, dan ini ada di suatu tempat di tengah."
Pemikiran Toon tentang hierarki menggemakan beberapa ahli teori di lapangan, termasuk kepala ilmuwan AI Meta, Yann LeCun, yang telah berbicara tentang menyusun hierarki pemahaman dalam jaringan saraf. Toon mengindikasikan bahwa dia setuju dengan aspek pemikiran LeCun.
Dibingkai dari sudut pandang itu, kata Toon, tantangan AI menjadi salah satu "bagaimana Anda membangun pemahaman yang cukup besar tentang dunia sehingga Anda melakukan lebih banyak interpolasi daripada ekstrapolasi?"
Dan tantangan itu akan menjadi salah satunya, dia yakin, dari data yang sangat "jarang", pembaruan parameter dari potongan-potongan kecil data lanjutan, daripada pelatihan ulang dalam jumlah besar pada semua data.
"Bahkan dalam hal tertentu yang Anda perbarui dunia, Anda mungkin harus menyentuh poin yang berbeda dari pemahaman Anda tentang dunia," jelas Toon. "Mungkin tidak semuanya menyatu dengan rapi di satu tempat, datanya sangat berantakan dan sangat jarang."
Dari sudut pandang komputasi, "Anda akan berakhir dengan banyak bagian operasi paralel yang berbeda," katanya, "yang semuanya sangat jarang, karena mereka mengerjakan potongan data yang berbeda."
Kedua ide, interpolasi, dan model pembunuh kanker yang lebih spesifik, sesuai dengan ide-ide yang dikemukakan oleh salah satu pendiri Toon, CTO Graphcore, Simon Knowles, yang telah berbicara tentang "menyaring" jaringan saraf yang lebih umum dan sangat besar menjadi sesuatu yang spesifik.
Mereka juga merupakan ide yang tampaknya memainkan gagasan perangkat lunak Poplar sebagai fungsi utama. Jika potongan data baru jarang, mengisi kesenjangan, dan harus diambil dari banyak tempat dalam memori asosiatif, dan di banyak operasi grafik, maka Poplar memiliki peran penting sebagai semacam polisi lalu lintas untuk mendistribusikan data dan tugas tersebut secara paralel di antara chip IPU.
Meskipun memaparkan skenario itu, Toon sama sekali tidak ideologis. Dia sadar bahwa belum ada yang memiliki jawaban yang pasti. "Saya pikir ada filosofi yang berbeda dan gagasan yang berbeda tentang cara kerjanya, tetapi tidak ada yang tahu," katanya tentang bidang tersebut. "Dan itulah yang dieksplorasi orang."
Kapan semua pertanyaan mendalam terjawab? Mungkin tidak segera.
"Hal yang menakjubkan tentang AI adalah, kami sepuluh tahun dari AlexNet, dan kami masih merasa seperti kami sedang menjelajah," katanya, mengacu pada jaringan saraf yang terkenal unggul di kompetisi ImageNet pada tahun 2012, membawa bentuk pembelajaran mendalam dari AI ke permukaan.
"Saya selalu menggunakan analogi game komputer," kata Toon, yang menulis game Star Wars untuk komputer pertamanya, kit 6502 dari pembuat komputer yang "sudah lama terlupakan". "Kami mungkin masih pada tahap Pac Man, kami belum sampai ke game tiga dimensi," sejauh evolusi AI, katanya.
Sepanjang perjalanan ke game 3-D, "Saya tidak berpikir akan ada musim dingin AI," kata Toon, mengacu pada berkali-kali selama beberapa dekade bahwa pendanaan telah mengering dan menghancurkan industri.
"Perbedaannya hari ini adalah, itu berhasil, ini nyata," katanya. Di era sebelumnya, dengan perusahaan AI seperti Thinking Machines pada tahun 1980-an, "itu tidak berhasil, kami tidak memiliki cukup data, kami tidak memiliki cukup komputasi.
"Sekarang, jelas itu berhasil, ada poin bukti yang jelas, itu membawa nilai besar," kata Toon. "Orang-orang membangun seluruh bisnis di belakangnya," katanya. "Maksud saya, ByteDance dan TikTok pada dasarnya adalah perusahaan yang digerakkan oleh AI, dan ini hanya masalah seberapa cepat itu meresap ke seluruh ruang teknologi, dan ke dalam perusahaan."
Pertarungan antara raksasa teknologi, seperti antara TikTok dan Instagram Meta, dapat dilihat sebagai pertempuran AI, perlombaan senjata untuk memiliki algoritma terbaik.
Graphcore tentu saja memiliki uang untuk mengatasi musim dingin apa pun, orang harus berpikir, dengan $730 juta dalam pembiayaan ventura. Toon menolak untuk memberikan informasi atau pendapatan Graphcore.
"Kami punya uang, kami punya tim," katanya. "Saya pikir Anda selalu bisa memiliki lebih banyak uang dan tim yang lebih besar, tetapi Anda harus bekerja dalam batasan yang ada." Graphcore memiliki 650 karyawan.
Untuk saat ini, musim dingin AI bukanlah tantangan. Menjual pelanggan pada kombinasi perangkat lunak unggulan Poplar dan IPU adalah. Ini tentu terdengar seperti pertempuran berat melawan raksasa Nvidia.
Meta, pemilik Facebook, baru-baru ini mengumumkan "komputer super penelitian" untuk AI dan Metaverse, yang dibangun di atas 6.080 GPU Nvidia. Sepertinya orang hanya menginginkan lebih banyak Nvidia.
"Saya pikir itulah tantangan yang kami miliki sebagai bisnis, adalah, dapatkah kami mengubah hati dan pikiran orang," kata Toon.
Nah, bisakah mereka?
"Perhatikan ruang ini," kata Toon, dan menuju bandara.