Cerebras baru saja membangun sistem komputer raksasa dengan 27 juta 'inti' AI

Condor Galaxy adalah tahap pertama dalam kemitraan Cerebras dengan G42 Abu Dhabi yang diperkirakan akan menghasilkan ratusan juta dolar untuk sistem cluster yang mencakup banyak benua.

Salah satu pendiri dan CEO Cerebras Andrew Feldman, di sini terlihat berdiri di atas peti pengepakan untuk sistem CS-2 sebelum pemasangannya di fasilitas hosting mitra Colovore di Santa Clara, California.

Kegembiraan seputar kecerdasan buatan "bukanlah hal yang terjadi di Silicon Valley, bahkan bukan hal yang terjadi di AS, hal ini kini terjadi di seluruh dunia -- ini adalah fenomena global," menurut Andrew Feldman, salah satu pendiri dan CEO komputasi AI memulai Sistem Cerebras.

Sehubungan dengan hal tersebut, Cerebras pada hari Kamis mengumumkan bahwa mereka telah menandatangani kontrak untuk membangun apa yang mereka sebut sebagai “superkomputer terbesar di dunia untuk AI,” bernama Condor Galaxy, atas nama kliennya, G42, sebuah perusahaan investasi berusia lima tahun yang berbasis di Abu Dhabi. Uni Emirat Arab.

Mesin ini difokuskan pada "pelatihan" jaringan saraf, bagian dari pembelajaran mesin ketika pengaturan jaringan saraf, "parameter", atau, "bobot", harus disetel ke tingkat yang memadai untuk tahap kedua. , membuat prediksi, yang dikenal sebagai tahap "inferensi".

Condor Galaxy, kata Feldman, adalah hasil kolaborasi berbulan-bulan antara Cerebras dan G42, dan merupakan pengumuman besar pertama dari kemitraan strategis mereka.

Kontrak awal bernilai lebih dari seratus juta dolar untuk Cerebras, kata Feldman kepada ZDNET dalam sebuah wawancara. Pendapatan tersebut pada akhirnya akan meningkat berkali-kali lipat, hingga pendapatan ratusan juta dolar, seiring Cerebras membangun Condor Galaxy dalam beberapa tahap.

Nama Galaksi Condor diambil dari sistem kosmologis yang terletak 212 juta tahun cahaya dari Bumi. Dalam konfigurasi awalnya, yang disebut CG-1, mesin ini terdiri dari 32 komputer AI tujuan khusus Cerebras, CS-2, yang chipnya, "Wafer-Scale-Engine," atau WSE, secara kolektif menampung total 27 juta inti komputasi, memori 41 terabyte, dan bandwidth 194 triliun bit per detik. Mereka diawasi oleh 36.352 prosesor server AMD EPYC x86.

32 mesin CS-2 dihubungkan bersama sebagai CG-1.

Mesin ini berjalan pada 2 exa-flop, yang berarti dapat memproses satu miliar miliar operasi floating-point per detik.

Besarnya skala ini adalah contoh terbaru dari besarnya Cerebras, yang didirikan pada tahun 2016 oleh wirausahawan dan inovator semikonduktor dan jaringan berpengalaman. Perusahaan ini mengejutkan dunia pada tahun 2019 dengan peluncuran WSE, chip terbesar yang pernah dibuat, sebuah chip yang menempati hampir seluruh permukaan wafer semikonduktor 12 inci. WSE-2, yang diperkenalkan pada tahun 2021,lah yang menggerakkan mesin CS-2.

CS-2 di CG-1 dilengkapi dengan saklar "kain" tujuan khusus Cerebras, Swarm-X, dan hub memori khusus, Memory-X, yang digunakan untuk mengelompokkan CS-2.

Klaim sebagai superkomputer terbesar untuk AI agak hiperbolis, karena tidak ada pencatatan umum untuk ukuran komputer AI. Ukuran umum superkomputer, daftar TOP500, yang dikelola oleh Prometeus GmbH, adalah daftar superkomputer konvensional yang digunakan untuk apa yang disebut komputasi kinerja tinggi.

Mesin-mesin tersebut tidak dapat dibandingkan, kata Feldman, karena mereka bekerja dengan apa yang disebut presisi 64-bit, dimana setiap operan, nilai yang akan dikerjakan oleh komputer, direpresentasikan ke komputer dengan enam puluh empat bit. Sistem Cerebras merepresentasikan data dalam bentuk yang lebih sederhana yang disebut "FP-16", hanya menggunakan enam belas bit untuk setiap sistem.

Pada mesin kelas presisi 64-bit, Frontier, superkomputer di Laboratorium Nasional Oak Ridge Departemen Energi AS, adalah superkomputer paling kuat di dunia, yang berjalan pada 1,19 exa-flop. Namun tidak bisa langsung dibandingkan dengan CG-1 pada 2 exa-flop, kata Feldman.

Tentu saja, komputasi CG-1 tidak seperti kebanyakan komputer di planet ini yang dapat dibayangkan. “Bayangkan sebuah komputer dengan daya komputasi lebih besar dari setengah juta Apple MacBook yang bekerja bersama untuk memecahkan satu masalah secara real-time,” ujar Feldman.

Mesin Condor Galaxy tidak secara fisik berada di Abu Dhabi, melainkan dipasang di fasilitas Colovore yang berbasis di Santa Clara, California, penyedia hosting yang bersaing di pasar layanan cloud seperti Equinix. Cerebras sebelumnya telah mengumumkan pada bulan November kemitraan dengan Colovore untuk superkomputer modular bernama 'Andromeda' untuk mempercepat model bahasa besar.

Statistik CG-1 di fase 1

Statistik CG-1 di fase 2

Sebagai bagian dari kemitraan multi-tahun, Condor Galaxy akan berkembang melalui versi CG-9, kata Feldman. Fase 2 dari kemitraan ini, yang diharapkan terjadi pada kuartal keempat tahun ini, akan menggandakan penggunaan CG-1 menjadi 64 CS-2, dengan total 54 juta inti komputasi, memori 82 terabyte, dan bandwidth 388 teraflops. Mesin itu akan menggandakan throughput menjadi 4 exa-flop komputasi.

Secara keseluruhan, dalam fase 4 kemitraan, yang akan dilaksanakan pada paruh kedua tahun 2024, Cerebras akan merangkai apa yang disebutnya sebagai "konstelasi" dari sembilan sistem yang saling berhubungan, masing-masing berjalan pada 4 exa-flop, dengan total Kapasitas 36 exa-flop, di berbagai lokasi di seluruh dunia, untuk mewujudkan apa yang disebut sebagai "Superkomputer AI terbesar yang saling terhubung di dunia."

“Ini adalah yang pertama dari empat mesin exa-flop yang kami buat untuk G42 di A.S.,” jelas Feldman, “Dan kemudian kami akan membuat enam mesin lagi di seluruh dunia, dengan total sembilan mesin yang saling terhubung, empat exa-flop. -mesin gagal menghasilkan 36 exa-flop."

Mesin tersebut merupakan yang pertama kalinya Cerebras tidak hanya membangun sistem komputer cluster tetapi juga mengoperasikannya untuk pelanggan. Hasilnya, kemitraan ini memberi Cerebras banyak jalan untuk memperoleh pendapatan.

Kemitraan ini akan mencapai ratusan juta dolar dalam penjualan langsung ke G42 oleh Cerebras, kata Feldman, seiring dengan berjalannya berbagai fase kemitraan.

“Kontrak ini tidak hanya lebih besar dibandingkan dengan penjualan dan gabungan semua startup lain selama masa hidup mereka, namun kontrak ini juga dimaksudkan untuk tumbuh tidak hanya melewati angka ratusan juta [dolar] saat ini, namun dua atau tiga kali lipat dari itu,” ujarnya. menyinggung startup AI yang bersaing termasuk Samba Nova Systems dan Graphcore.

Selain itu, "Bersama-sama, kami menjual kembali kelebihan kapasitas melalui cloud kami," yang berarti membiarkan pelanggan Cerebras lainnya menyewa kapasitas di CG-1 saat tidak digunakan oleh G42. Kemitraan ini “tentu saja memberikan cloud kami skala yang sangat baru,” katanya, sehingga “kami sekarang memiliki peluang untuk mengembangkan superkomputer AI khusus sebagai sebuah layanan.”

Artinya siapa pun yang menginginkan kapasitas komputasi cloud AI akan dapat "menggunakan salah satu superkomputer terbesar di dunia selama sehari, seminggu, sebulan jika Anda mau."

Ambisi AI tampaknya sama besarnya dengan mesin. “Selama 60 hari ke depan, kami akan mengumumkan beberapa model yang sangat menarik yang telah dilatih menggunakan CG-1,” kata Feldman.

G42 adalah konglomerat global, catat Feldman, dengan sekitar 22.000 karyawan, di dua puluh lima negara, dan sembilan perusahaan yang beroperasi di bawah payungnya. Anak perusahaan G42 Cloud mengoperasikan cloud regional terbesar di Timur Tengah.

“Visi bersama G42 dan Cerebras adalah bahwa Condor Galaxy akan digunakan untuk mengatasi tantangan masyarakat yang paling mendesak di bidang layanan kesehatan, energi, aksi iklim, dan banyak lagi,” kata Talal Alkaissi, CEO G42 Cloud, dalam sambutannya.

Perusahaan patungan antara G42 dan sesama perusahaan investasi Abu Dhabi, Mubadala Investments. Co., M42, adalah salah satu pengurutan genom terbesar di dunia.

“Mereka adalah pionir dalam penggunaan AI dan aplikasi layanan kesehatan di seluruh Eropa dan Timur Tengah,” kata Feldman dari G42. Perusahaan telah menghasilkan 300 publikasi AI selama 3 tahun terakhir.

“Mereka [G42] menginginkan seseorang yang berpengalaman membangun superkomputer AI yang sangat besar, dan yang memiliki pengalaman mengembangkan dan mengimplementasikan model AI yang besar, dan yang memiliki pengalaman memanipulasi dan mengelola kumpulan data yang sangat besar,” kata Feldman, “Dan semua itu adalah hal-hal yang kami , kami telah benar-benar mengasahnya dalam sembilan bulan terakhir."

Mesin CG-1, tegas Feldman, akan mampu menskalakan model jaringan saraf yang semakin besar tanpa memerlukan jumlah kode tambahan berkali-kali lipat.

“Salah satu elemen kunci dalam teknologi ini adalah teknologi ini memungkinkan pelanggan seperti G42, dan pelanggan mereka, untuk mendapatkan manfaat dengan cepat dari alat berat kami,” kata Feldman.

Dalam slide presentasinya, ia menekankan bagaimana jaringan saraf dengan 1 miliar parameter seperti GPT OpenAI, dapat ditempatkan pada satu chip GPU Nvidia dengan 1.200 baris kode. Namun untuk menskalakan jaringan saraf ke model parameter 40 miliar, yang berjalan di 28.415 GPU Nvidia, jumlah kode yang diperlukan untuk diterapkan mencapai hampir 30.000 baris, kata Feldman.

Namun, untuk sistem CS-2, model dengan 100 miliar parameter dapat dijalankan dengan 1.200 baris kode yang sama.

Cerebras mengklaim ia dapat menskalakan model jaringan saraf yang lebih besar dengan jumlah kode yang sama versus ledakan kode yang diperlukan untuk merangkai GPU Nvidia.

"Jika Anda ingin memasukkan parameter 40 miliar atau seratus miliar, atau parameter 500 miliar, Anda menggunakan 1.200 baris kode yang sama persis," jelas Feldman. "Itu benar-benar pembeda inti, Anda tidak perlu melakukan ini," tulis lebih banyak kode, katanya.

Bagi Feldman, skala kreasi terbaru ini tidak hanya mewakili besarnya saja, namun juga upaya untuk mendapatkan hasil yang berbeda secara kualitatif dengan meningkatkan skala dari chip terbesar ke sistem cluster terbesar.

“Anda tahu, ketika kami memulai perusahaan ini, Anda berpikir bahwa Anda dapat membantu mengubah dunia dengan membuat komputer-komputer keren,” Feldman merenung. “Dan selama tujuh tahun terakhir, kami membangun komputer yang semakin besar dan semakin besar, dan beberapa di antaranya merupakan komputer yang terbesar.

“Sekarang kita berada di jalur untuk membangun, sesuatu yang sangat besar, dan itu luar biasa, berjalan melalui pusat data dan melihat rak demi rak peralatan Anda bersenandung.”