Penawaran baru Oracle menghadirkan AI pada data Anda, dan juga mengelolanya
Raksasa basis data ini mengumumkan ketersediaan umum Layanan AI Generatif OCI, layanan terkelola yang pertama kali ditawarkan dalam versi beta pada bulan September.
Raksasa basis data Oracle ingin Anda tahu bahwa Anda mungkin akan memiliki pengalaman yang lebih baik dengan kecerdasan buatan generatif jika tidak melibatkan pemindahan data Anda dari tempat tinggalnya -- yang kemungkinan besar berada di dalam basis data Oracle yang sudah ada -- terutama jika Anda' Anda adalah pengguna perusahaan.
Pada hari Senin, di acara mitra di Dubai, Oracle mengumumkan ketersediaan umum Layanan AI Generatif OCI, layanan terkelola untuk AI yang pertama kali ditawarkan dalam versi beta pada bulan September. Perusahaan juga meluncurkan dua penawaran baru, yang masih dalam versi beta: OCI Gen AI Agents dan OCI Data Science AI Quick Actions.
Perusahaan ini menyatakan bahwa membangun aplikasi AI generatif perusahaan di atas penyimpanan data yang ada akan lebih efektif dalam hal penggunaan data unik, namun juga lebih ekonomis dibandingkan dengan membeli banyak infrastruktur tambahan.
Akronim "OCI" mengacu pada Oracle Cloud Infrastructure milik Oracle; yaitu, seluruh sumber daya jaringan dan komputasi, serta perangkat lunak yang menyertainya seperti Oracle Autonomous Database, yang digunakan perusahaan di pusat data di seluruh dunia untuk memberikan layanan cloud. Hal ini termasuk apa yang disebut Oracle sebagai "kluster super" chip GPU Nvidia yang mana Oracle telah menghabiskan miliaran dolar.
“Kami pada dasarnya menghadirkan AI ke dalam data,” kata Erik Bergenholtz, wakil presiden Oracle untuk strategi dan operasi, dalam penjelasannya dengan ZDNET sebelum pengumuman.
“Aplikasi Fusion kami, seperti ERP dan HCM, memiliki data berukuran sangat besar -- kami menghadirkan AI ke sana,” katanya. "Database kami, tentu saja, berisi data berukuran petabyte, exabytes -- kami menghadirkan AI generatif ke sana."
Manfaat membangun database Oracle, middleware, dan rangkaian aplikasi Fusion adalah hal yang praktis, kata Bergenholtz.
Menurut pengamatan Bergenholtz, perusahaan dapat mencoba membeli perangkat lunak tambahan untuk bagian pengelolaan data, seperti database vektor seperti Pine Cone. “Kelemahannya, tentu saja, adalah Anda memiliki infrastruktur lain yang meningkatkan biaya cloud, dan Anda sekarang harus benar-benar memindahkan dan menyinkronkan data di seluruh penyimpanan data asal Anda, baik itu aplikasi atau database Oracle Anda; dan sekarang Anda memiliki infrastruktur tambahan."
Dengan menggunakan layanan OCI, Bergenholtz menambahkan, "hanya menghilangkan hambatan itu, hambatan itu, bagi pelanggan kami."
“Kami tidak ingin pelanggan memindahkan data, karena hal terakhir yang mereka inginkan adalah memindahkan 500 terabyte hanya untuk mendapatkan keuntungan dari AI generatif,” kata Steve Zivanic, wakil presiden pemasaran database dan layanan otonom Oracle, dalam pengarahan yang sama. dengan Bergenholtz.
Layanan AI Generatif OCI, yang tersedia secara umum minggu ini, terdiri dari model bahasa besar (LLM) yang telah dibuat sebelumnya, termasuk model sumber terbuka Llama 2 dengan 70 miliar parameter milik Meta Properties.
Selain Meta, Oracle telah bermitra dengan startup yang didukung ventura Cohere untuk layanan GenAI. (Oracle adalah investornya.) Cohere memiliki tiga model yang akan digunakan dalam layanan Oracle: Command, untuk fungsi bahasa teks umum; Ringkas, untuk ringkasan dokumen; dan Sematkan, untuk fungsi multi-bahasa.
Data pelanggan yang digunakan di OCI untuk melatih atau menyempurnakan model tidak dapat dilihat oleh pelanggan Oracle lainnya, Bergenholtz menekankan.
Sejak memasuki pengujian beta, layanan ini telah menambahkan kemampuan baru, seperti moderasi konten. “Yang paling penting adalah kami melakukan ini sebelum benar-benar mengirimkan petunjuknya” ke model bahasa, “dan kemudian kami juga mengevaluasi respons yang keluar dari model tersebut,” kata Bergenholtz, “jadi, kami tidak hanya menunggu sampai akhir, karena Anda sudah mengeluarkan biaya pemrosesan permintaan itu."
Layanan ini sekarang juga terintegrasi dengan kerangka pengembangan LangChain untuk menggunakan LLM.
Produk Agen AI Gen OCI dimaksudkan untuk mengikat LLM ke sumber daya lain, seperti database data milik pelanggan. Agen pertama yang ditawarkan adalah untuk retrieval-augmented generation (RAG), sebuah pendekatan yang semakin populer di dunia AI generatif untuk menghubungkan model bahasa ke sumber kebenaran seperti database.
LLM "mungkin tidak berguna kecuali Anda benar-benar dapat memanfaatkan data yang Anda kelola di berbagai aplikasi Oracle atau database Oracle," kata Bergenholtz. Awalnya, layanan agen RAG dapat memanfaatkan penawaran OpenSearch OCI, layanan terkelola berdasarkan platform OpenSearch sumber terbuka. Dalam waktu dekat, penawaran RAG akan diperkuat dengan dapat dihubungkan ke Database 23c AI Vector Search milik Oracle, serta MySQL Heatwave Vector Store.
Layanan agen AI memulai pengujian beta bulan ini.
Penawaran Tindakan Cepat Ilmu Data OCI dihasilkan dari akuisisi startup DataScience oleh Oracle pada tahun 2018, yang menghadirkan keahlian Oracle dalam Jupyter Notebooks dan teknik statistik yang relevan dengan pembelajaran mesin.
Inti dari Tindakan Cepat adalah pendekatan tanpa kode untuk menerapkan dan menyempurnakan model bahasa. Beberapa kerangka kerja tersedia untuk penyesuaian, misalnya, termasuk pelatihan terdistribusi dengan PyTorch, Hugging Face Accelerate, dan DeepSpeed Microsoft. Bergenholtz juga menekankan penggunaan penyimpanan objek dan file untuk memudahkan pengorganisasian "bobot" model, yaitu parameter yang menggunakan memori dalam jumlah besar dan yang membentuk jaringan saraf.
Tindakan Cepat akan memulai pengujian beta bulan depan.
Kasus penggunaan paling umum yang pernah dilihat Oracle saat bekerja dengan pelanggan beta untuk layanan OCI Gen AI melibatkan hal-hal seperti memberikan respons otomatis terhadap pertanyaan kebijakan SDM.
“Pertanyaan umum adalah, berapa hari libur yang tersisa bagi saya,” jelas Bergenholtz. “Anda memerlukan dua data, kebijakan di perusahaan, dan berapa hari libur yang Anda gunakan, lalu Anda perlu menghitung jawabannya berdasarkan dua hal tersebut.
“Dengan RAG, Anda dapat dengan mudah menjawab pertanyaan tersebut karena sistem RAG mengetahui identitas Anda,” dan juga mengetahui kebijakan perusahaan. Aplikasi awal serupa mencakup pertanyaan manfaat asuransi kesehatan, kata Bergenholtz.
Aplikasi lain yang sering digunakan di masa-masa awal ini adalah dukungan pelanggan. Untuk perwakilan dukungan pelanggan, dengan menggunakan RAG untuk mendalami data pelanggan, model bahasa "dapat dengan mudah meringkas kasus yang Anda hubungi, situasi saat ini, dan memberikan skrip langkah selanjutnya untuk direkomendasikan atau dijalankan dengan pelanggan untuk dapat memberikan pengalaman pengguna yang lebih kaya dan lebih baik,” kata Bergenholtz.
Bagaimana dengan pelanggan yang tidak ingin perangkat GenAI bermodel baru ini menyentuh data berharga mereka?
“Ada beberapa cara kami melihat hal ini terjadi,” kata VP pemasaran Zivanic. Dengan menempatkan kemampuan seperti pencarian vektor ke dalam database Oracle, dan penyimpanan vektor di Heatwave, "kami menghadirkan teknologi ini langsung kepada mereka," katanya.
Dia mengakui, akan ada "organisasi [yang] akan melakukan berbagai proyek kerja sama sampingan" dengan Gen AI agar terbiasa dengan teknologi tersebut. “Namun, menurut saya, seiring berjalannya waktu, seiring dengan semakin maraknya AI generatif, kekuatan database terkonvergensi di mana semuanya ditempa menjadi satu, pada dasarnya, konstruksi database, akan terbukti menguntungkan dibandingkan berlangganan beberapa database dan mencoba mendapatkan jawaban Anda. "