Melayani AI Generatif menjadi jauh lebih mudah dengan OctoAI dari OctoML
AI generatif, karena intensitas komputasinya, sangat sulit untuk diproduksi. OctoML mengatakan mereka dapat menyederhanakan semua itu dengan keahlian pengoptimalannya selama bertahun-tahun.
Layanan komputasi OctoAI menawarkan templat untuk menggunakan program AI generatif yang sudah dikenal seperti Stable Diffusion 2.1, namun pelanggan juga dapat mengunggah model kustom mereka sendiri.
Minat yang kuat dalam menjalankan program kecerdasan buatan, terutama program generatif, seperti ChatGPT OpenAI, menghasilkan industri jasa rumahan yang dapat menyederhanakan pekerjaan memasukkan model AI ke dalam produksi.
Pada hari Rabu, startup OctoML, yang berusaha keras meningkatkan kinerja AI di berbagai chip dan sistem komputer, meluncurkan layanan untuk memperlancar pekerjaan menyajikan prediksi, bagian "inferensi" dari AI, yang disebut OctoAI Compute Service. Pengembang yang ingin menjalankan model bahasa besar dan sejenisnya dapat mengunggah model mereka ke layanan, dan OctoAI akan mengurus sisanya.
Hal ini, kata perusahaan, dapat membawa lebih banyak pihak ke dalam layanan AI, tidak hanya insinyur AI tradisional.
“Pemirsa produk kami adalah pengembang aplikasi umum yang ingin menambahkan fungsionalitas AI ke aplikasi mereka, dan menambahkan model bahasa besar untuk menjawab pertanyaan dan sejenisnya, tanpa harus benar-benar memasukkan model tersebut ke dalam produksi, yang mana hal ini masih sangat, sangat sulit,” kata salah satu pendiri dan CEO OctoML Luis Ceze dalam sebuah wawancara dengan ZDNET.
AI generatif, kata Ceze, bahkan lebih sulit untuk diterapkan dibandingkan beberapa bentuk AI lainnya.
“Model-model ini berukuran besar, menggunakan banyak komputasi, memerlukan banyak pekerjaan infrastruktur yang menurut kami tidak perlu dikhawatirkan oleh pengembang,” katanya.
OctoAI, kata Ceze, "pada dasarnya adalah sebuah platform yang biasanya dibangun oleh seseorang menggunakan model kepemilikan" seperti OpenAI untuk ChatGPT. “Kami telah membangun platform yang setara, namun memungkinkan Anda menjalankan model sumber terbuka.
“Kami ingin orang-orang fokus pada pembuatan aplikasi mereka, bukan membangun infrastruktur, agar orang-orang menjadi lebih kreatif.”
Layanan tersebut, yang sekarang tersedia untuk akses umum, telah berada dalam akses terbatas dengan beberapa pelanggan awal selama empat bulan, kata Ceze, "dan penerimaannya telah melampaui ekspektasi semua orang dengan selisih yang sangat lebar."
Meskipun fokus OctoAI adalah inferensi, program ini dapat melakukan sejumlah hal yang dikenal sebagai "pelatihan", bagian awal dari AI di mana jaringan saraf dikembangkan dengan memberikan parameter untuk mengoptimalkan tujuan.
“Kami bisa melakukan fine-tuning, tapi tidak berlatih dari awal,” kata Ceze. Penyempurnaan mengacu pada pekerjaan lanjutan yang terjadi setelah pelatihan awal tetapi sebelum inferensi, misalnya untuk menyesuaikan program jaringan saraf dengan kekhasan suatu domain.
“Kami ingin orang-orang fokus pada pembuatan aplikasi mereka, bukan membangun infrastruktur, agar orang-orang menjadi lebih kreatif,” kata salah satu pendiri dan CEO OctoML, Luis Ceze.
Penekanan tersebut merupakan “pilihan yang disengaja” dari OctoML, kata Ceze, mengingat inferensi adalah tugas yang lebih sering dilakukan dalam AI.
“Pekerjaan kami terfokus pada inferensi karena saya selalu memiliki keyakinan kuat bahwa untuk setiap model yang sukses, Anda akan melakukan lebih banyak inferensi daripada pelatihan, dan platform ini benar-benar tentang memasukkan model ke dalam produksi, dan dalam produksi. , dan selama masa pakai model, sebagian besar siklus mengarah ke inferensi."
Tim OctoML berpengalaman dalam seluk-beluk memasukkan jaringan saraf ke dalam produksi mengingat peran sentral mereka dalam mengembangkan proyek sumber terbuka Apache TVM. Apache TVM adalah kompiler perangkat lunak yang beroperasi secara berbeda dari kompiler lainnya. Alih-alih mengubah program menjadi instruksi chip biasa untuk CPU atau GPU, program ini mempelajari "grafik" operasi komputasi di jaringan saraf dan mencari cara terbaik untuk memetakan operasi tersebut ke perangkat keras berdasarkan ketergantungan antar operasi.
Teknologi OctoML yang dihasilkan dari Apache TVM, yang disebut Octomizer, "seperti komponen aliran MLOps, atau DevOps," kata Ceze.
Perusahaan tersebut "mengambil semua yang telah kami pelajari" dari Apache TVM dan dari pembuatan Octomizer, kata Ceze, "dan menghasilkan produk yang benar-benar baru, OctoAI, yang pada dasarnya menggabungkan semua layanan pengoptimalan ini, dan kemudian penyajian penuh, dan penyempurnaan , sebuah platform yang memungkinkan pengguna memanfaatkan AI ke dalam produksi dan bahkan menjalankannya untuk mereka."
Layanan ini "secara otomatis mempercepat model", memilih perangkat keras, dan "terus mencari cara terbaik untuk menjalankan model Anda, dengan cara yang sangat, sangat siap pakai".
Menggunakan CURL pada baris perintah adalah cara sederhana untuk memulai dengan model templat.
Hasilnya bagi pelanggan, kata Ceze, pelanggan tidak perlu lagi secara eksplisit menjadi insinyur ML; mereka bisa menjadi pengembang perangkat lunak yang generalis.
Layanan ini memungkinkan pelanggan membawa model mereka sendiri, atau memanfaatkan "serangkaian model bernilai tinggi yang dikurasi", termasuk Stable Diffusion 2.1, Dolly 2, LLaMa, dan Whisper untuk transkripsi audio.
"Segera setelah Anda masuk, sebagai pengguna baru, Anda dapat langsung bermain dengan model, Anda dapat mengkloningnya dan memulai dengan sangat mudah." Perusahaan dapat membantu menyempurnakan program sumber terbuka tersebut dengan kebutuhan pelanggan, "atau Anda dapat menggunakan model yang sepenuhnya dapat disesuaikan".
Sejauh ini, perusahaan melihat “perpaduan yang sangat merata” antara model sumber terbuka dan model kustom mereka sendiri.
Mitra peluncuran awal untuk infrastruktur OctoAI adalah AWS Amazon, yang dijual kembali oleh OctoML, namun perusahaan juga bekerja sama dengan beberapa pelanggan yang ingin menggunakan kapasitas yang telah mereka peroleh dari cloud publik.
Mengunggah model yang sepenuhnya disesuaikan adalah pilihan lainnya.
Untuk masalah sensitif tentang cara mengunggah data pelanggan ke cloud untuk, misalnya, penyesuaian, "Kami memulainya sejak awal dengan kepatuhan SOC2, jadi kami memiliki jaminan yang sangat ketat dalam mencampurkan data pengguna dengan data pengguna lain," kata Ceze, mengacu pada standar kepatuhan sukarela SOC2 yang dikembangkan oleh American Institute of CPAs. “Kami memiliki semua itu, namun saat ini kami memiliki pelanggan yang meminta lebih banyak untuk penerapan pribadi, di mana kami benar-benar membuat contoh sistem dan menjalankannya di VPC [virtual private cloud] mereka sendiri.”
“Hal ini tidak segera diluncurkan, namun masih dalam rencana jangka pendek karena pelanggan memintanya.”
OctoML melawan pihak-pihak besar dan kecil yang juga merasakan peluang besar dalam lonjakan minat untuk menyajikan prediksi dengan program AI sejak ChatGPT.
MosesML, startup muda lainnya dengan keahlian teknis yang mendalam, pada bulan Mei memperkenalkan Inferensi MosaikML, yang menerapkan model besar. Dan Google Cloud bulan lalu meluncurkan G2, yang dikatakan “dibuat khusus untuk beban kerja AI inferensi besar seperti AI generatif.”
Ceze mengatakan ada beberapa hal yang membedakan OctoAI dengan kompetitor. “Salah satu hal unik yang kami tawarkan adalah kami berfokus pada penyesuaian dan inferensi,” dibandingkan “produk yang memiliki inferensi hanya sebagai komponen.” OctoAI, katanya, juga membedakan dirinya dengan “dibangun khusus bagi pengembang untuk membangun aplikasi dengan sangat cepat” daripada harus menjadi insinyur AI.
"Membangun fokus inferensi sangatlah sulit," kata Ceze, "Anda memiliki persyaratan yang sangat ketat" termasuk "persyaratan waktu aktif yang sangat ketat." Saat menjalankan sesi pelatihan, "jika Anda memiliki kesalahan, Anda dapat memulihkannya, tetapi kesimpulannya, satu permintaan yang Anda lewatkan dapat membuat pengguna kesal."
“Saya dapat membayangkan orang-orang melatih model tersebut dengan MosesML dan kemudian membawanya ke OctoML untuk disajikan,” tambah Ceze.
OctoML belum mempublikasikan harga, katanya. Layanan ini pada awalnya akan memungkinkan calon pelanggan untuk menggunakannya secara gratis, dari halaman pendaftaran, dengan jatah awal waktu komputasi gratis, dan "kemudian penetapan harga akan sangat transparan dalam hal ini adalah biaya yang harus Anda keluarkan." gunakan komputasi, dan inilah besarnya kinerja yang kami berikan kepada Anda, sehingga menjadi sangat, sangat jelas, bukan hanya waktu komputasi, dan Anda mendapatkan lebih banyak pekerjaan dari komputasi yang Anda bayar." Pada akhirnya, harga tersebut akan ditentukan berdasarkan konsumsi, katanya, di mana pelanggan hanya membayar sesuai penggunaan mereka.
Ada kemungkinan besar bahwa banyak layanan model AI dapat berubah dari layanan premium yang eksotik menjadi komoditas.
“Saya sebenarnya berpikir bahwa fungsi AI kemungkinan besar akan dikomoditisasi,” kata Ceze. “Ini akan menarik bagi pengguna, seperti halnya pemeriksaan ejaan atau tata bahasa, bayangkan saja setiap antarmuka teks memiliki AI generatif.”
Pada saat yang sama, “model yang lebih besar masih mampu melakukan beberapa hal yang tidak dapat dilakukan oleh model komoditas,” katanya.
Skala berarti kompleksitas inferensi akan menjadi masalah yang menantang untuk dipecahkan untuk beberapa waktu, katanya. Model bahasa besar dengan 70 miliar atau lebih parameter menghasilkan seratus "giga-ops", seratus miliar operasi per detik, untuk setiap kata yang dihasilkannya, kata Ceze.
Juga: Teknologi baru ini dapat mengalahkan GPT-4 dan sejenisnya
“Ini jauh lebih besar dibandingkan beban kerja apa pun yang pernah dijalankan,” tambahnya, “Dan dibutuhkan banyak pekerjaan untuk membuat platform bisa berskala global.
“Jadi saya pikir ini akan membawa bisnis ke banyak orang, bahkan jika itu dikomoditisasi, karena kita harus memaksimalkan kinerja dan kemampuan komputasi dari semua yang kita miliki di cloud, GPU, CPU, dan hal-hal lain yang ada di edge. "