Menjalankan beban kerja AI akan hadir di komputer virtual di dekat Anda, didukung oleh GPU dan Kubernetes

Run:AI menawarkan lapisan virtualisasi untuk AI, yang bertujuan untuk memfasilitasi infrastruktur AI. Ini melihat banyak daya tarik dan baru saja mengumpulkan putaran pendanaan Seri C senilai $75 juta. Inilah bagaimana evolusi lanskap AI telah membentuk pertumbuhannya.

Run:AI menawarkan lapisan virtualisasi untuk menjalankan beban kerja AI

Run:AI mengambil AI Anda dan menjalankannya di tumpukan perangkat lunak super cepat di masa depan. Itu adalah judul artikel kami tahun 2019 tentang Run:AI, yang saat itu baru saja keluar dari siluman. Meskipun kami ingin berpikir itu tetap akurat, pendekatan run:AI yang tidak konvensional telah mengalami pertumbuhan pesat sejak saat itu.

Run:AI, yang menggembar-gemborkan dirinya sebagai "platform orkestrasi AI", hari ini mengumumkan bahwa mereka telah mengumpulkan $75 juta dalam putaran Seri C yang dipimpin oleh Tiger Global Management dan Insight Partners, yang memimpin putaran Seri B sebelumnya. Putaran ini mencakup partisipasi investor tambahan yang ada, TLV Partners dan S Capital VC, sehingga total pendanaan yang dikumpulkan hingga saat ini menjadi $118 juta.

Kami bertemu dengan Omri Geller, CEO dan salah satu pendiri Run:AI, untuk membahas chip dan infrastruktur AI, kemajuan Run:AI, dan interaksi di antara keduanya.

Chip AI keren, tetapi GPU Nvidia menguasai

Run:AI menawarkan lapisan perangkat lunak yang disebut Atlas untuk mempercepat eksekusi beban kerja pembelajaran mesin, di tempat dan di cloud. Pada dasarnya, Atlas berfungsi sebagai mesin virtual untuk beban kerja AI: mengabstraksi dan merampingkan akses ke perangkat keras yang mendasarinya.

Namun, pengalaman Geller dari lapangan adalah bahwa organisasi tidak hanya mencari cara yang hemat biaya untuk melatih dan menerapkan model. Mereka juga mencari cara sederhana untuk berinteraksi dengan perangkat keras, dan ini adalah alasan utama mengapa Nvidia masih mendominasi. Dengan kata lain, semuanya ada di tumpukan perangkat lunak. Ini sesuai dengan apa yang diidentifikasi oleh banyak analis.

Namun, kami bertanya-tanya apakah janji kinerja yang unggul dapat memikat organisasi atau apakah pesaing Nvidia entah bagaimana berhasil menutup kesenjangan dalam hal evolusi dan adopsi tumpukan perangkat lunak mereka.

Pengalaman Geller adalah bahwa meskipun chip AI khusus dapat menarik organisasi yang memiliki beban kerja dengan profil berorientasi kinerja tertentu, adopsi arus utamanya tetap rendah. Namun, apa yang dilihat Run:AI adalah lebih banyak permintaan untuk GPU yang bukan Nvidia. Baik itu AMD MI200 atau Intel Ponte Vecchio, Geller melihat organisasi yang ingin memanfaatkan lebih banyak GPU dalam waktu dekat.

Kubernetes untuk AI

Dominasi Nvidia bukan satu-satunya alasan mengapa pengembangan produk Run:AI berubah seperti itu. Tren lain yang membentuk penawaran Run:AI adalah munculnya Kubernetes. Geller berpikir bahwa Kubernetes adalah salah satu bagian terpenting dalam membangun tumpukan AI, karena kontainer banyak digunakan dalam ilmu data -- serta seterusnya.

Namun, Geller melanjutkan dengan menambahkan, Kubernetes tidak dibangun untuk menjalankan beban kerja berkinerja tinggi pada chip AI - itu dibangun untuk menjalankan layanan pada CPU klasik. Oleh karena itu, ada banyak hal yang hilang di Kubernetes agar dapat menjalankan aplikasi secara efisien menggunakan kontainer.

Butuh beberapa saat untuk mengidentifikasi itu. Namun, begitu mereka melakukannya, keputusan mereka adalah membangun perangkat lunak mereka sebagai plugin untuk Kubernetes untuk membuat apa yang disebut Geller "Kubernetes untuk AI". Untuk menahan diri dari membuat pilihan khusus vendor, arsitektur Kubernetes Run:AI tetap kompatibel secara luas. Geller mengatakan perusahaan telah bermitra dengan semua vendor Kubernetes, dan pengguna dapat menggunakan Run:AI terlepas dari platform Kubernetes apa yang mereka gunakan.

Seiring waktu, Run:AI telah membangun ekosistem mitra terkemuka, termasuk orang-orang seperti Dell, HP Enterprise, Nvidia, NetApp, dan OpenShift. Selain itu, platform Atlas juga telah berevolusi baik dalam lebar maupun kedalaman. Terutama, Run:AI sekarang mendukung beban kerja pelatihan dan inferensi. Karena inferensi biasanya menghasilkan sebagian besar biaya operasional AI dalam produksi, ini sangat penting.

Selain itu, Run:AI Atlas sekarang terintegrasi dengan sejumlah kerangka kerja pembelajaran mesin, alat MLOps, dan penawaran cloud publik. Ini termasuk Weights & Biases, TensorFlow, PyTorch, PyCharm, Visual Studio dan JupyterHub, serta Nvidia Triton Inference Server dan NGC, Seldon, AirFlow, KubeFlow dan MLflow, masing-masing.

Bahkan kerangka kerja yang tidak terintegrasi sebelumnya dapat diintegrasikan dengan relatif mudah, selama mereka berjalan dalam wadah di atas Kubernetes, kata Geller. Sejauh platform cloud berjalan, Run:AI bekerja dengan semua 3 penyedia cloud utama (AWS, Google Cloud, dan Microsoft Azure), serta on-premise. Geller mencatat bahwa cloud hibrida adalah apa yang mereka lihat pada penerapan pelanggan.

Run:AI melihat infrastruktur AI sebagai tumpukan lapisan

Meskipun realitas pasar yang dioperasikan Run:AI membalikkan beberapa perencanaan awal, membuat perusahaan mengejar lebih banyak opsi operasionalisasi daripada memperluas dukungan untuk lebih banyak chip AI, itu tidak berarti tidak ada kemajuan di bidang teknis.

Run:Pencapaian teknis utama AI menggunakan nama berbagi GPU fraksional, penyediaan GPU tipis, dan pertukaran pekerjaan. Berbagi GPU fraksional memungkinkan menjalankan banyak kontainer pada satu GPU sambil menjaga setiap kontainer tetap terisolasi dan tanpa perubahan kode atau penalti performa.

Apa yang dilakukan VMware untuk CPU, Run:AI lakukan untuk GPU, dalam ekosistem kontainer di bawah Kubernetes, tanpa hypervisor, seperti yang dikatakan Geller. Adapun penyediaan tipis dan pertukaran pekerjaan, hal ini memungkinkan platform untuk mengidentifikasi aplikasi mana yang tidak menggunakan sumber daya yang dialokasikan pada setiap titik waktu, dan secara dinamis mengalokasikan kembali sumber daya tersebut sesuai kebutuhan.

Khususnya, Run:AI termasuk dalam laporan Forrester Wave AI Infrastructure yang diterbitkan pada Q4 2021. Perusahaan ini memegang posisi unik di antara vendor Infrastruktur AI, yang mencakup vendor cloud, Nvidia, dan OEM GPU.

Semuanya, kata Geller, adalah mitra Run:AI, karena mereka mewakili infrastruktur untuk menjalankan aplikasi. Geller melihat ini sebagai tumpukan, dengan perangkat keras di lapisan bawah, lapisan perantara yang bertindak sebagai antarmuka untuk ilmuwan data dan insinyur pembelajaran mesin, dan aplikasi AI di lapisan atas.

Run:AI melihat daya tarik yang baik, meningkatkan Pendapatan Berulang Tahunan sebesar 9x lipat dan staf sebesar 3x lipat pada tahun 2021. Perusahaan berencana untuk menggunakan investasi tersebut untuk lebih mengembangkan tim globalnya dan juga akan mempertimbangkan akuisisi strategis saat mengembangkan dan meningkatkan platformnya.