Bagaimana SuperDuperDB memberikan akses mudah ke aplikasi AI
Meskipun ada pembicaraan ambisius tentang penggunaan GenAI di perusahaan, hal itu mungkin dimulai dari sini, dengan jenis alat sederhana yang dapat digunakan oleh pemrogram individu.
Banyak pengamat memperkirakan bahwa tahun 2024 akan menjadi tahun dimana perusahaan mengubah AI generatif seperti GPT-4 OpenAI menjadi aplikasi korporat yang sebenarnya. Kemungkinan besar, aplikasi semacam itu akan dimulai dengan jenis infrastruktur yang paling sederhana, yang menggabungkan model bahasa besar seperti GPT-4 dengan beberapa pengelolaan data dasar.
Aplikasi perusahaan akan dimulai dengan tugas sederhana seperti menelusuri teks atau gambar untuk menemukan kecocokan dengan penelusuran bahasa alami.
Kandidat yang tepat untuk mewujudkan hal tersebut adalah perpustakaan Python bernama SuperDuperDB, yang dibuat oleh perusahaan yang didukung modal ventura dengan nama yang sama, yang didirikan pada tahun 2023.
SuperDuperDB bukanlah database tetapi antarmuka yang berada di antara database seperti MongoDB atau Snowflake dan model bahasa besar atau program GenAI lainnya.
Lapisan antarmuka tersebut memudahkan untuk melakukan beberapa operasi dasar pada data perusahaan. Dengan menggunakan kueri bahasa alami dalam prompt obrolan, seseorang dapat menanyakan kumpulan data perusahaan yang ada -- seperti dokumen -- secara lebih luas dibandingkan dengan pencarian kata kunci pada umumnya. Seseorang dapat mengunggah gambar, misalnya, produk ke database gambar dan kemudian menanyakan database tersebut dengan menampilkan gambar dan mencari kecocokan.
Demikian pula momen dalam video dapat diambil dari arsip video, dengan mengetikkan tema atau fitur. Rekaman pesan suara dapat dicari sebagai transkrip teks, menjadikannya asisten pesan suara dasar.
Teknologi ini juga berguna bagi ilmuwan data dan insinyur pembelajaran mesin yang ingin menyempurnakan program AI menggunakan data perusahaan yang dipatenkan.
Misalnya, untuk "menyempurnakan" program AI seperti model pengenalan gambar, seseorang harus menghubungkan database gambar yang ada ke program pembelajaran mesin. Tantangannya adalah bagaimana memasukkan dan mengeluarkan data gambar dari program pembelajaran mesin, dan bagaimana menentukan variabel proses pelatihan, seperti kerugian yang harus diminimalkan. SuperDuperDB menawarkan pemanggilan fungsi untuk menyederhanakan semua hal tersebut.
Aspek kunci dari banyak fungsi tersebut adalah mengonversi tipe data yang berbeda -- teks, gambar, video, audio -- menjadi vektor, rangkaian angka yang dapat dibandingkan satu sama lain. Hal ini memungkinkan SuperDuperDB untuk melakukan "pencarian kesamaan", di mana vektor frasa teks, misalnya, dibandingkan dengan database yang berisi transkrip pesan suara untuk mengambil pesan yang paling cocok dengan kueri.
Ingat, SuperDuperDB bukanlah database vektor seperti Pinecone, sebuah program komersial. Ini adalah bentuk pengorganisasian vektor yang lebih sederhana yang disebut "indeks vektor".
Program SuperDuperDB, yang bersifat open-source, diinstal seperti instalasi Python pada umumnya dari baris perintah atau dimuat sebagai container Docker yang sudah dibuat sebelumnya.
Langkah pertama untuk bekerja dengan SuperDuperDB dapat berupa menyiapkan penyimpanan data dari awal, atau bekerja dengan penyimpanan data eksternal. Apa pun kasusnya, Anda pasti ingin memiliki tempat penyimpanan data seperti MongoDB atau database berbasis SQL.
SuperDuperDB menangani semua data, termasuk data yang baru dibuat dan data yang diambil dari database, melalui apa yang disebutnya "encoder", yang memungkinkan pemrogram menentukan tipe data. Tipe yang dikodekan tersebut -- teks, audio, gambar, video, dll. -- dapat disimpan di MongoDB sebagai "dokumen" atau dalam database berbasis SQL sebagai skema tabel. Dimungkinkan juga untuk menyimpan item data yang sangat besar, seperti file video, di penyimpanan lokal ketika melebihi kapasitas database MongoDB atau SQL.
Setelah kumpulan data dipilih atau dibuat, model jaringan saraf dapat diimpor dari perpustakaan seperti SciKit-Learn atau seseorang dapat menggunakan inventaris jaringan saraf bawaan yang sangat mendasar seperti Transformer, model bahasa besar yang asli. Anda juga dapat memanggil API dari layanan komersial seperti OpenAI dan Anthropic. Fungsi inti agar model dapat membuat prediksi dilakukan dengan panggilan sederhana ke fungsi ".predict" yang dibangun di SuperDuperDB.
Saat bekerja dengan model bahasa besar atau model gambar seperti Difusi Stabil atau Dall-E, jaringan saraf akan berusaha mengambil jawaban dari database dengan melakukan pencarian kesamaan vektor. Itu semudah memanggil fungsi ".like" dan meneruskan string kueri ke dalamnya.
Dimungkinkan untuk membuat aplikasi yang lebih kompleks dengan menggabungkan beberapa tahapan fungsionalitas dengan SuperDuperDB, seperti menggunakan pencarian kesamaan untuk mengambil item dari database dan kemudian meneruskan item tersebut ke jaringan saraf pengklasifikasi.
Perusahaan telah menambahkan fungsi yang menjadikan aplikasi lebih seperti sistem produksi. Mereka termasuk layanan yang disebut Listeners yang menjalankan kembali prediksi setiap kali database yang mendasarinya diperbarui. Berbagai fungsi di SuperDuperDB juga dapat dijalankan sebagai daemon terpisah untuk meningkatkan kinerja.
Tahun ini akan terjadi banyak evolusi dalam program seperti SuperDuperDB, yang menjadikannya lebih tangguh untuk tujuan produksi. Anda dapat mengharapkan SuperDuperDB untuk berkembang seiring dengan perkembangan infrastruktur penting lainnya seperti kerangka LangChain dan alat komersial seperti database vektor Pinecone.
Meskipun ada banyak pembicaraan ambisius tentang penggunaan GenAI di perusahaan, hal itu mungkin dimulai dari sini, dengan jenis alat sederhana yang dapat digunakan oleh pemrogram individu.
Jika Anda ingin merasakan SuperDuperDB dengan cepat, kunjungi repositori GitHub mereka.