CEO Pinecone sedang berupaya memberikan AI sesuatu seperti pengetahuan
Perusahaan telah lama mencoba melakukan pencarian di seluruh vektor di jantung AI. Apakah ini teknologi terfokus yang dicari-cari oleh bidang ini?
ChatGPT dan program AI generatif lainnya melontarkan "halusinasi", pernyataan palsu sebagai fakta, karena program tersebut tidak dibuat untuk "mengetahui" apa pun; mereka hanya dibuat untuk menghasilkan serangkaian karakter yang merupakan kelanjutan yang masuk akal dari apa pun yang baru saja Anda ketik.
“Jika saya mengajukan pertanyaan tentang kedokteran atau hukum atau pertanyaan teknis, LLM [model bahasa besar] tidak akan memiliki informasi tersebut, terutama jika informasi tersebut merupakan hak milik,” kata Edo Liberty, CEO dan pendiri startup Pinecone, dalam sebuah wawancara. baru-baru ini dengan ZDNET. "Jadi, itu hanya akan mengada-ada, yang kita sebut halusinasi."
Perusahaan Liberty, pembuat perangkat lunak berusia empat tahun yang didukung oleh ventura yang berbasis di New York City, berspesialisasi dalam apa yang disebut database vektor. Perusahaan ini telah menerima pendanaan sebesar $138 juta untuk upaya mendasarkan keluaran GenAI yang masuk akal pada sesuatu yang lebih otoritatif, sesuatu yang menyerupai pengetahuan sebenarnya.
"Hal yang benar untuk dilakukan adalah, ketika Anda memiliki kueri, prompt, buka dan ambil informasi yang relevan dari database vektor, masukkan ke dalam jendela konteks, dan tiba-tiba kueri Anda atau interaksi Anda dengan model bahasa banyak lebih efektif,” jelas Liberty.
Basis data vektor adalah salah satu upaya yang berkembang pesat yang disebut "retrival-augmented generation," atau, RAG, di mana LLM mencari masukan dari luar di tengah-tengah pembentukan keluarannya untuk memperkuat apa yang dapat dilakukan jaringan saraf sendiri.
Dari semua pendekatan RAG, basis data vektor adalah salah satu pendekatan yang memiliki latar belakang paling mendalam baik dalam penelitian maupun industri. Telah ada dalam bentuk mentah selama lebih dari satu dekade.
Dalam peran sebelumnya di perusahaan teknologi besar, Liberty membantu memelopori database vektor sebagai urusan skunkworks yang tersembunyi. Dia pernah menjabat sebagai kepala penelitian untuk Yahoo!, dan sebagai manajer senior penelitian untuk platform Amazon AWS SageMaker, dan, kemudian, kepala Amazon AI Labs.
“Jika Anda melihat rekomendasi belanja di Amazon atau peringkat feed di Facebook, atau rekomendasi iklan, atau pencarian di Google, semuanya bekerja di belakang layar dengan sesuatu yang secara efektif merupakan database vektor,” kata Liberty kepada ZDNET.
Selama bertahun-tahun, database vektor "masih dirahasiakan" bahkan dalam komunitas database, kata Liberty. Basis data vektor awal seperti itu bukanlah produk siap pakai. “Setiap perusahaan harus membangun sesuatu secara internal untuk melakukan hal ini,” katanya. "Saya sendiri berpartisipasi dalam membangun beberapa platform berbeda yang memerlukan kemampuan database vektor."
Pemahaman Liberty pada tahun-tahun di Amazon adalah bahwa penggunaan vektor tidak bisa begitu saja dimasukkan ke dalam database yang sudah ada. “Ini adalah arsitektur terpisah, ini adalah database terpisah, sebuah layanan - ini adalah jenis database baru,” katanya.
Sudah jelas, katanya, "ke mana arah puck" dengan AI bahkan sebelum ChatGPT. “Dengan model bahasa seperti BERT Google, itulah model bahasa pertama yang mulai populer di kalangan pengembang rata-rata,” kata Liberty, mengacu pada sistem AI generatif Google, yang diperkenalkan pada tahun 2018, pendahulu ChatGPT.
"Ketika hal itu mulai terjadi, itu adalah fase transisi di pasar." Itu adalah transisi yang harus dia lalui, katanya.
“Saya tahu betapa sulitnya, dan berapa lama waktu yang dibutuhkan, untuk membangun lapisan database dasar, dan kami harus memulainya jauh-jauh hari, karena kami hanya punya waktu beberapa tahun sebelum ini bisa digunakan oleh ribuan perusahaan.”
Basis data apa pun ditentukan oleh cara data diorganisasikan, seperti baris dan kolom basis data relasional, dan cara aksesnya, seperti bahasa kueri terstruktur relasional.
Dalam kasus database vektor, setiap bagian data diwakili oleh apa yang disebut penyematan vektor, sekelompok angka yang menempatkan data dalam ruang abstrak -- sebuah "ruang penyematan" -- berdasarkan kesamaan. Misalnya, kota London dan Paris memiliki jarak yang lebih dekat secara geografis dibandingkan dengan New York. Penyematan vektor hanyalah cara numerik yang efisien untuk merepresentasikan kesamaan relatif.
Dalam ruang penyematan, segala jenis data dapat direpresentasikan lebih dekat atau lebih jauh berdasarkan kesamaan. Teks, misalnya, dapat dianggap sebagai kata-kata yang berdekatan, seperti "menempati" dan "terletak", yang keduanya lebih berdekatan dibandingkan dengan kata seperti "didirikan". Gambar, suara, kode program -- segala macam hal dapat direduksi menjadi vektor numerik yang kemudian disisipkan sesuai dengan kemiripannya.
Untuk mengakses database, database vektor mengubah kueri menjadi vektor, dan vektor tersebut dibandingkan dengan vektor dalam database berdasarkan seberapa dekat vektor tersebut dalam ruang penyematan, yang dikenal sebagai "penelusuran kesamaan". Kecocokan terdekat adalah keluarannya, jawaban atas pertanyaan.
Anda dapat melihat bagaimana hal ini memiliki relevansi yang jelas dengan mesin pemberi rekomendasi: dua jenis penyedot debu mungkin lebih dekat satu sama lain dibandingkan dengan jenis penyedot debu ketiga. Kueri untuk penyedot debu mungkin cocok dengan seberapa miripnya dengan deskripsi ketiga penyedot debu tersebut. Memperluas atau mempersempit kueri dapat menghasilkan pencarian kesamaan yang lebih luas atau lebih baik di seluruh ruang penyematan.
Namun pencarian kesamaan di seluruh penyematan vektor saja tidak cukup untuk membuat database. Paling banter, ini adalah indeks vektor sederhana untuk pengambilan yang sangat mendasar.
Basis data vektor, menurut Liberty, harus memiliki sistem manajemen, sama seperti basis data relasional, sesuatu untuk menangani berbagai tantangan yang bahkan tidak disadari oleh pengguna. Hal ini mencakup cara menyimpan berbagai vektor di media penyimpanan yang tersedia, dan cara menskalakan penyimpanan di seluruh sistem terdistribusi, serta cara memperbarui, menambah, dan menghapus vektor di dalam sistem.
“Itu adalah pertanyaan yang sangat, sangat unik, dan sangat sulit dilakukan, dan ketika Anda melakukannya dalam skala besar, Anda harus membangun sistem yang sangat terspesialisasi untuk itu,” kata Liberty.
“Dan itu harus dibangun dari awal, dalam hal algoritma dan struktur data dan segalanya, dan itu harus cloud-native, jika tidak, sejujurnya, Anda tidak bisa mendapatkan trade-off dari segi biaya, skala, dan kinerja. yang membuatnya layak dan masuk akal dalam produksi."
Mencocokkan kueri dengan vektor yang disimpan dalam database jelas cocok dengan model bahasa besar seperti GPT-4. Fungsi utamanya adalah mencocokkan kueri dalam bentuk vektor dengan data pelatihan yang dikumpulkan, diringkas sebagai vektor, dan dengan apa yang Anda ketik sebelumnya, juga direpresentasikan sebagai vektor.
“Cara LLM [model bahasa besar] mengakses data, mereka sebenarnya mengakses data dengan vektor itu sendiri,” jelas Liberty. "Ini bukan metadata, ini bukan bidang tambahan yang merupakan cara utama informasi direpresentasikan."
Misalnya, "Jika Anda ingin mengatakan, berikan saya semua yang terlihat seperti ini, dan saya melihat sebuah gambar -- mungkin saya memotong wajah dan berkata, oke, ambil semua orang dari database yang terlihat seperti itu, dari semua gambar saya , " jelas Kebebasan.
"Atau jika itu audio, sesuatu yang terdengar seperti ini, atau jika itu teks, itu adalah sesuatu yang relevan dengan dokumen ini." Kueri gabungan semacam itu semuanya bisa berupa pencarian kesamaan yang berbeda di berbagai ruang penyematan vektor. Hal ini bisa sangat berguna untuk masa depan multi-modal yang akan hadir di GenAI, seperti yang diungkapkan ZDNET.
Intinya, sekali lagi, adalah mengurangi halusinasi.
"Misalnya Anda sedang membuat aplikasi untuk dukungan teknis: LLM mungkin telah dilatih tentang beberapa produk acak, namun tidak pada produk Anda, dan pastinya tidak akan ada rilis baru seperti yang Anda datangkan, dokumentasi yang belum dipublikasikan." Sebagai konsekuensinya, "Itu hanya akan membuat sesuatu." Sebaliknya, dengan database vektor, prompt yang berkaitan dengan produk baru akan dicocokkan dengan informasi tertentu.
Ada peluang lain yang menjanjikan yang sedang dijajaki dalam upaya RAG secara keseluruhan. Ilmuwan AI, yang menyadari keterbatasan model bahasa besar, telah mencoba memperkirakan kemampuan database. Banyak pihak, termasuk Microsoft, telah bereksperimen dengan melampirkan langsung sesuatu seperti memori primitif ke LLM, seperti yang dilaporkan ZDNET sebelumnya.
Dengan memperluas "jendela konteks", istilah untuk jumlah hal yang sebelumnya diketik ke dalam perintah program seperti ChatGPT, lebih banyak hal yang dapat diingat pada setiap putaran sesi obrolan.
Pendekatan itu hanya bisa dilakukan sejauh ini, kata Liberty kepada ZDNET. “Jendela konteks tersebut mungkin berisi informasi yang dibutuhkan untuk benar-benar menghasilkan jawaban yang benar, atau mungkin juga tidak,” katanya, dan dalam praktiknya, ia berargumentasi, “Hampir pasti tidak akan menghasilkan jawaban yang benar.”
“Jika Anda mengajukan pertanyaan tentang kedokteran, Anda tidak akan memasukkan seluruh pengetahuan kedokteran ke dalam jendela konteks,” jelasnya. Dalam skenario terburuk, "penjejalan konteks", demikian sebutannya, sebenarnya dapat memperburuk halusinasi, kata Liberty, "karena Anda menambahkan kebisingan."
Tentu saja, vendor perangkat lunak dan alat database lain telah melihat manfaat dari pencarian kesamaan antar vektor, dan menambahkan kemampuan pada produk mereka yang sudah ada. Hal ini termasuk MongdoDB, salah satu sistem database non-relasional paling populer, yang telah menambahkan "pencarian vektor" ke platform database Atlas yang dikelola cloud. Ini juga mencakup vendor database kecil Couchbase.
“Mereka tidak berhasil,” kata Liberty mengenai upaya-upaya yang bersifat “me-too” ini, “karena mereka bahkan tidak memiliki mekanisme yang tepat.”
Sarana akses sistem database lain tidak dapat diarahkan ke pencarian kesamaan vektor, dalam pandangannya. Liberty menawarkan contoh penarikan kembali. "Jika saya bertanya kepada Anda apa wawancara terbaru yang Anda lakukan, apa yang terjadi di otak Anda bukanlah kueri SQL," katanya, mengacu pada bahasa pengambilan terstruktur dari database relasional.
"Anda memiliki konotasi, Anda dapat mengambil informasi yang relevan berdasarkan konteks -- hal serupa atau analogi adalah sesuatu yang dapat dilakukan oleh database vektor karena cara mereka merepresentasikan data" yang tidak dapat dilakukan oleh database lain karena strukturnya.
"Kami sangat terspesialisasi untuk melakukan penelusuran vektor dengan sangat baik, dan kami dibangun dari awal, mulai dari algoritme, hingga struktur data, hingga tata letak data dan perencanaan kueri, hingga arsitektur di cloud, untuk melakukannya dengan sangat baik."
Apa yang MongoDB, Couchbase, dan lainnya, katanya, "coba lakukan, dan, dalam beberapa hal, berhasil, adalah memperkeruh keadaan tentang apa itu database vektor," katanya. “Mereka tahu bahwa, dalam skala besar, ketika membangun aplikasi dunia nyata dengan database vektor, tidak akan ada persaingan.”
Momentumnya ada pada Pinecone, kata Liberty, karena telah mengejar wawasan aslinya dengan sangat fokus.
“Saat ini kami memiliki ribuan perusahaan yang menggunakan produk kami,” kata Liberty, “ratusan ribu pengembang telah membuat sesuatu di Pinecone, klien kami diunduh jutaan kali dan digunakan di mana-mana.” Biji pinus "diberi peringkat nomor satu oleh entah berapa banyak survei yang berbeda."
Pertumbuhan pendapatan jelas sangat besar akhir-akhir ini. Pinecone mengakhiri tahun 2022 dengan pendapatan berulang tahunan sebesar $2 juta, yang merupakan ukuran total nilai kontrak pelanggan. Perusahaan ini mengakhiri tahun ini dengan ARR "puluhan juta" dolar, kata VP pemasaran Greg Kogan, melalui email ke ZDNET.
“Pertumbuhan kami kuat pada tahun 2022 dan benar-benar gila pada tahun 2023, karena fakta bahwa database vektor menjadi komponen inti GenAI dan Pinecone selalu menjadi pemimpin pasar,” tulis Kogan dalam email. “Kami memperkirakan ini akan berlanjut pada tahun 2024.”
Kedepannya, kata Liberty, Pinecone akan membangun sistem yang mendekati arti sebenarnya dari pengetahuan dalam beberapa tahun ke depan.
“Saya pikir pertanyaan menariknya adalah bagaimana kita merepresentasikan pengetahuan?” Liberty mengatakan kepada ZDNET. “Jika Anda memiliki sistem AI yang harus benar-benar cerdas, sistem tersebut perlu mengetahui banyak hal.”
Jalan untuk merepresentasikan pengetahuan untuk AI, kata Liberty, sudah pasti adalah database vektor. “Tetapi itu bukanlah jawaban akhir,” katanya. "Itu adalah bagian awal dari jawabannya." Masih ada “investasi selama dua, tiga, lima, sepuluh tahun lagi dalam teknologi ini untuk membuat sistem-sistem tersebut berintegrasi satu sama lain dengan lebih baik guna merepresentasikan data dengan lebih akurat,” katanya.
“Ada peta jalan besar di depan kita untuk menjadikan pengetahuan sebagai bagian integral dari setiap penerapan.”