Kubernetes menjadi sederhana? Microsoft menambahkan operator rantai alat AI ke layanan Azure
Operator toolchain Kubernetes Al menyederhanakan beban kerja pembelajaran mesin dan kecerdasan buatan serta akan menghemat uang Anda untuk melakukan booting.
Jika Anda ingin menjalankan aplikasi kecerdasan buatan (AI) dan pembelajaran mesin seperti model bahasa besar (LLM) dalam skala besar, Anda harus menjalankannya di Kubernetes. Namun, menguasai Kubernetes -- orkestrator container favorit semua orang -- tidaklah mudah. Di sinilah operator rantai alat Kubernetes Al -- tambahan terbaru pada Azure Kubernetes Service (AKS) Microsoft—- berperan.
AKS telah membuat Kubernetes di Azure lebih mudah. Daripada menyelesaikannya secara manual, pipeline dan pagar pembatas kode-ke-cloud bawaan AKS memberi Anda cara yang lebih cepat untuk mulai mengembangkan dan menerapkan aplikasi cloud-native di Azure. Dengan manajemen dan tata kelola terpadu untuk klaster Kubernetes lokal, edge, dan multi-cloud, AKS juga mempermudah (tidak ada yang namanya "sederhana" jika menyangkut Kubernetes) untuk berintegrasi dengan keamanan, identitas, dan manajemen biaya Azure. , dan layanan migrasi.
Apa yang dihadirkan oleh operator toolchain AI Kubernetes adalah cara otomatis untuk menjalankan beban kerja AI/ML perangkat lunak sumber terbuka dengan hemat biaya dan dengan lebih sedikit konfigurasi manual. Ini juga mengotomatiskan penerapan model LLM pada AKS di seluruh sumber daya CPU dan GPU yang tersedia dengan memilih infrastruktur berukuran optimal untuk LLM Anda atau proyek lainnya.
Operator rantai alat AI melakukan ini dengan secara otomatis menyediakan node GPU yang diperlukan dan menyiapkan server inferensi terkait sebagai server titik akhir untuk model AI Anda. Server inferensi, seperti Server Inferensi 7B Hugging Face atau NVIDIA Triton, menerapkan model AI terlatih pada data yang masuk untuk membuat keputusan secara real-time. Inferensi adalah proses menjalankan data langsung melalui model AI terlatih untuk membuat prediksi atau menyelesaikan suatu tugas. Penggunaan add-on ini mengurangi waktu orientasi dan memungkinkan Anda fokus pada penggunaan dan pengembangan model AI dibandingkan penyiapan infrastruktur.
Hal ini juga memungkinkan pemisahan inferensi dengan mudah ke beberapa mesin virtual (VM) dengan jumlah GPU lebih rendah. Ini berarti Anda dapat menjalankan LLM di lebih banyak wilayah Azure, sehingga menghilangkan waktu tunggu untuk wilayah Azure dengan VM dengan jumlah GPU lebih tinggi dan menurunkan biaya keseluruhan. Dengan kata lain, Anda dapat secara otomatis menjalankan LLM Anda di wilayah dengan daya lebih rendah dan lebih murah. Ya, Anda mungkin kehilangan kekuatan pemrosesan, namun tidak semua pekerjaan memerlukan tenaga yang lebih tinggi.
Untuk memudahkan pengaturan, Anda juga dapat memilih model prasetel dengan gambar yang dihosting AKS. Hal ini secara signifikan mengurangi waktu penyiapan layanan Anda secara keseluruhan. Setelah aktif dan berjalan selama beberapa waktu, Anda kemudian dapat menyesuaikan model Azure agar lebih sesuai dengan beban kerja Anda.
Selain itu, Azure Kubernetes Fleet Manager memungkinkan skenario multi-kluster dan berskala besar untuk kluster AKS. Admin platform yang mengelola armada Kubernetes dengan banyak cluster sering kali menghadapi tantangan dalam melakukan pembaruan dengan cara yang aman dan dapat diprediksi. Hal ini memungkinkan admin untuk mengatur pembaruan di beberapa klaster dengan menggunakan proses pembaruan, tahapan, dan grup. Karena beban kerja AI/ML cenderung sangat menuntut, hal ini membuat pengelolaannya menjadi lebih mudah.
Singkatnya, jika Anda ingin melakukan pekerjaan serius dengan AI/ML di Azure, operator toolchain Kubernetes Al memerlukan perhatian Anda.