Pelanggan Snowflake memperoleh keuntungan awal dari aplikasi Gen AI

Bagi perusahaan yang telah mengadopsi Gen AI, penghematan biaya otomatisasi adalah hal yang nyata, begitu pula dengan kecepatan mereka mencapai hasil bisnis yang berarti.

Sebagian besar perdebatan mengenai kecerdasan buatan (AI) di perusahaan, khususnya tipe AI generatif (Gen AI), terfokus pada statistik, seperti jumlah proyek yang sedang dikembangkan atau perkiraan penghematan biaya otomatisasi, dan manfaatnya. masih sangat hipotetis.

Untuk memahami beberapa statistik dan teori, ada gunanya mendengarkan pengguna Gen AI, seperti yang saya lakukan saat makan malam yang diselenggarakan di New York minggu lalu oleh vendor gudang data Snowflake.

Perusahaan mengundang pelanggan terkemuka untuk berbicara tentang pengalaman mereka dalam menerapkan aplikasi AI ke dalam produksi.

Kesan keseluruhannya adalah terdapat kasus penggunaan AI yang bermakna, termasuk pencarian dokumen, yang dapat mulai memberikan manfaat dalam waktu enam bulan atau kurang setelah penerapannya.

Percakapan tersebut bersifat anekdotal, dan Snowflake tertarik untuk mempromosikan skenario terbaik dari pelanggannya untuk mempromosikan layanan gudang data cloud-nya.

Meskipun demikian, dengan mengingat hal tersebut, komentar bijaksana dari kedua pelanggan menunjukkan bahwa perusahaan menciptakan nilai dengan terjun ke AI bahkan dengan kasus penggunaan yang sangat sederhana, setelah hanya berhari-hari, berminggu-minggu, atau berbulan-bulan dalam produksi.

Thomas Bodenski, chief operating officer dan kepala analitik untuk TS Imagine, yang menjual platform perdagangan sekuritas berbasis cloud, menggambarkan bagaimana biasanya dibutuhkan 4.000 "jam kerja" di perusahaannya agar orang-orang membaca email untuk hal-hal penting dan dapat ditindaklanjuti. acara.

“Saya menerima email, setiap tahun, 100.000 kali, seseorang yang datanya kami beli, memberi tahu saya bahwa dalam tiga bulan, kami akan membuat perubahan,” jelas Bodenski. “Kalau saya tidak siap, ada 500 klien yang turun,” artinya mereka tidak bisa berdagang, katanya. "Jadi, sangat penting bagi Anda untuk membaca setiap email yang masuk."

Bodenski melanjutkan: "Email itu masuk, saya harus mengklasifikasikannya, saya harus memahaminya, saya harus mendelegasikannya kepada orang yang tepat, di berbagai departemen, untuk menindaklanjutinya -- tugas itu menghabiskan waktu 4.000 jam setahun ."

“Hitung saja,” kata Thomas Bodenski, chief operating officer di TS Imagine.

Tugas tersebut secara tradisional merupakan peran "tim di seluruh dunia" yang diawasinya. Setidaknya ada dua setengah individu yang “setara penuh waktu”, katanya, “dan mereka harus menjadi orang-orang pintar.”

Bodenski berkata: "Sekarang, saya melakukannya dengan biaya 3% dari biaya orang yang melakukan pekerjaan itu," dengan menggunakan aplikasi AI generatif.

"Hitung saja," kata Bodenski. "Anda mengambil gaji rata-rata dan kemudian menghitung berapa banyak yang Anda belanjakan untuk Snowflake, dan itu hanya 3% dari biaya tersebut."

Program membaca email ini adalah aplikasi pertama yang dibuat oleh TS Imagine dengan bantuan Snowflake, kata Bodenski. Itu dibangun menggunakan model bahasa besar Llama sumber terbuka Meta Platforms dan alternatif sumber terbuka Snowflake, Arctic. Model bahasa besar tersebut menggunakan retrieval augmented generation (RAG), yang mana model tersebut memanfaatkan database eksternal.

"Saya rasa saya tidak bisa kembali ke masa lalu," kata Daniel Sandberg dari S&P Global Market Intelligence.

Aplikasi ini “memerlukan pembelajaran trial and error selama enam bulan,” kata Bodenski. Proses itu dimulai sebelum TS Imagine menjalin hubungan dengan Snowflake.

Kemudian Snowflake memperkenalkan Cortex AI," layanan inferensi LLM terkelola yang dijalankan oleh Snowflake, "kami memigrasikan seluruh pipeline RAG dalam empat hari, dan sekarang kami dapat membuat konsep cerita yang berbeda."

Layanan Cortex AI memungkinkan Bodenski mengklasifikasikan email pelanggan yang masuk berdasarkan sensitivitas, urgensi, dan parameter lainnya, sesuatu yang tidak mungkin dilakukan sebelumnya "karena saya tidak, seperti, Anda tahu, membaca semua 5.000 email pelanggan yang masuk setiap bulan, katanya.

Dengan klasifikasi, Bodenski mengatakan bahwa hasilnya adalah "Saya mendeteksi semak belukar bahkan sebelum menjadi api", yang berarti kecelakaan pelanggan. "Dapat diandalkan, saya tidak punya masalah, saya tidak melewatkan satu email pun."

TS Imagine kini memiliki enam aplikasi yang aktif dan berjalan menggunakan Gen AI, kata Bodenski, "dan saya akan melakukan lebih banyak lagi. AI akan terus membangun otak kita," katanya: "Ini berhasil."

Pelanggan Snowflake, S&P Global Market Intelligence, memiliki pengalaman serupa, menurut Daniel Sandberg, kepala "penelitian kuantum" untuk perusahaan tersebut, yang juga menjadi tamu pada jamuan makan malam tersebut.

Perusahaan Sandberg menerapkan aplikasi internal yang disebut Spark Assist di atas aplikasi Microsoft Office-nya. Sekarang, perusahaan dapat membuat ringkasan email secara otomatis.

“Gen AI cukup pintar untuk mengetahui mana yang paling relevan dan memerlukan perhatian saya segera versus mana yang mungkin perlu tidak diprioritaskan, dan saya hanya berkata [kepada model AI], 'Silakan tuliskan tanggapan terhadap hal-hal ini. ,' lalu saya memeriksanya."

Aplikasi ini digunakan oleh 14.000 karyawan di S&P Global, kata Sandberg. “Saya rasa saya tidak bisa kembali ke masa lalu,” katanya, mengacu pada cara lama dalam mencoba menyortir dan menyaring email secara manual.

Namun apakah laba atas investasi aplikasi tersebut sebanding dengan biaya pembuatan aplikasi dan biaya inferensi? “Menurut saya, ya,” kata Sandberg, meskipun dia menambahkan: “Saya pikir kita masih mengukur banyak hal ini.”

Sandberg melanjutkan: "Pertanyaannya adalah, secara keseluruhan, seperti apa hasil yang didapat? Itulah TBD. Namun dalam kasus individual, tentu saja; hal-hal yang biasanya memerlukan waktu berhari-hari atau lebih lama untuk dikompilasi, kini dapat diselesaikan dalam satu hari [menggunakan Gen AI] ."

Dia membandingkan Gen AI dengan masa-masa awal internet ketika kecepatan dial-up menghambat manfaat bagi rata-rata pengguna.

“Jika kita duduk di sini dan harus menunggu 15 menit untuk masuk” ke internet melalui modem dial-up, “apakah itu sepadan?” Sandberg berkomentar.

Tapi, itu bukan tempat kita berada sekarang, katanya. "Di situlah kita akan berada dalam lima tahun; saya pikir banyak hal yang akan terselesaikan."

Kepala AI Snowflake, Baris Gultekin, juga hadir dalam jamuan makan malam tersebut dan mengatakan bahwa Gen AI sudah dapat menawarkan keekonomian yang lebih baik untuk mengotomatisasi beberapa tugas.

“Cortex Analyst adalah produk yang memungkinkan seseorang mengajukan pertanyaan, mendapatkan jawaban dari data, secara instan,” jelasnya.

"Harga saat ini untuk 1.000 pertanyaan adalah $200, jadi, 20¢ sebuah pertanyaan. Ini adalah pertanyaan yang harus dijawab oleh seorang analis [manusia]. Mereka akan menulis kueri [database] SQL untuk setiap pertanyaan tersebut . Jadi, bayangkan 1.000 kueri SQL. Masing-masing kueri memerlukan, katakanlah, 10 menit. Anda dapat melihat ROI: 10 menit untuk satu pertanyaan, 1.000 pertanyaan, versus $200."

Produk Cortex Snowflake sudah menghasilkan penghematan biaya, kata kepala AI Snowflake, Baris Gultekin.

Tentu saja, dua puluh sen di sini dan dua puluh sen di sana bisa bertambah, kata Chris Child, wakil presiden teknik penjualan sedunia untuk Snowflake, yang menjadi tamu pada jamuan makan malam tersebut. Kuncinya, katanya, adalah agar perusahaan dapat memperkirakan berapa biaya yang akan bertambah ketika pengambilan kesimpulan dimulai.

“Dalam kebanyakan kasus, masyarakat telah menyisihkan anggaran,” kata Child. "Mereka memikirkan hal-hal besar, dan ini lebih tentang, 'Bagaimana saya memahami berapa besar biaya yang harus saya keluarkan selama beberapa bulan, dan bagaimana saya tahu kapan trennya lebih tinggi dari itu?'"

Sarannya: "Cobalah, jalankan sekali, lihat, lalu perkirakan apa yang Anda perlukan untuk melakukannya dalam skala besar."

Child melanjutkan: "Biaya pengujian suatu hipotesis tinggi," dibandingkan, "Jika saya menghabiskan $1.000 untuk menjalankan uji kasus pertama, itu masih mahal, namun jauh lebih murah" dibandingkan menggunakan orang untuk menguji hipotesis yang sama.

Chris Child: "Cobalah, jalankan sekali, lihat, lalu perkirakan apa yang Anda perlukan untuk melakukannya dalam skala besar."

Ketika S&P Global membuat aplikasi yang menggunakan Snowflake untuk kliennya, alat tersebut bertujuan untuk memilah 12.000 laporan keuangan triwulanan historis yang dikeluarkan oleh perusahaan-perusahaan di Russell 3000, indeks perusahaan-perusahaan AS yang dapat diinvestasikan, selama 10 tahun dengan total 120.000 dokumen.

“Hal pertama yang kami lakukan saat pertama kali menggunakan platform ini adalah menulis skrip yang membantu kami menghitung biaya sebelum menjalankannya, dan kami mampu melakukannya,” kata Sandberg.

“Saya menyukai model berbasis konsumsi,” katanya, mengacu pada praktik Snowflake yang menagih pelanggan berdasarkan total waktu aktual yang digunakan dibandingkan lisensi penggunaan perangkat lunak tradisional, “karena ada transparansi dalam penetapan harga, karena menurut pendapat saya, ada keadilan. secara keseluruhan."

Bodenski dari TS Imagine mengatakan fleksibilitas dalam penetapan harga menjalankan inferensi di Cortex telah sesuai dengan kebutuhannya.

“Saya bisa menjalankan proses yang mana saya boleh menunggu tiga menit untuk setiap prompt, tapi saya juga bisa menjalankan proses yang tidak boleh menunggu tiga menit, saya maunya lima detik,” jelasnya.

“Dan saya mengambil keputusan dengan cepat, hanya dengan meningkatkan sesuatu dari yang ekstra kecil menjadi menengah,” mengacu pada skala komputasi.

Bodenski mengatakan aplikasi yang digunakan oleh TS Imagine untuk menelusuri email menunjukkan manfaatnya dengan cepat. “Sebenarnya kami melihat dampaknya, empat hari setelah kami merancangnya,” katanya, “karena hal tersebut memunculkan hal-hal yang perlu kami fokuskan, dan hal ini meningkatkan kualitas layanan pelanggan kami.”

Aplikasi tersebut kini telah diproduksi selama empat bulan. “Ini sangat, sangat penting bagi kami,” katanya. “Ini mengangkat saya untuk mendeteksi suatu hal yang harus saya libatkan, atau manajer regional saya, kepala global saya,” kata Bodenski.

"Ini berjalan secara otomatis, membuahkan hasil, kami menangkap item" yang mungkin memerlukan waktu berminggu-minggu untuk menerima tanggapan melalui email, "dan saya tidak perlu mempekerjakan satu orang pun atau mengalokasikan ulang satu orang pun untuk melakukan proses itu. "