Microsoft merilis pemutakhiran ke Azure AI Speech pada Build 2024
Perusahaan mengumumkan sejumlah fitur yang ditingkatkan pada layanan Azure AI yang mendukung pembangunan dengan AI generatif.
Pada konferensi pengembang Build tahunan pada hari Selasa, Microsoft mengumumkan fitur baru untuk layanan Azure AI Speech yang meningkatkan pengembangan aplikasi generatif yang didukung suara dan didukung AI.
Azure AI Speech sudah digunakan untuk "berbagai kasus penggunaan termasuk analisis panggilan (audio, teks), transkripsi medis (audio, visi, teks), teks (audio/video, transkripsi, terjemahan) dan chatbots (audio, GPT) ,' kata Microsoft dalam rilisnya. Layanan ini memiliki banyak kemampuan hingga saat ini, termasuk mengubah audio menjadi teks untuk siaran atau mengekstrak alamat yang disebutkan dalam panggilan telepon.
Salah satu hal yang menarik dari pengungkapan GPT-4o OpenAI minggu lalu adalah peningkatan Mode Suara, yang berfokus pada peningkatan kualitas suara yang diberikan pada respons program. Untuk mengimbanginya, Microsoft mengumumkan bahwa Personal Voice tersedia secara umum.
Fitur ini memungkinkan pengguna “membuat dan menggunakan suara AI mereka sendiri untuk berbagai aplikasi, seperti asisten suara, terjemahan ucapan, dan pembuatan konten video,” jelas rilis tersebut.
Kemampuan baru lainnya adalah analisis ucapan, yang kini tersedia dalam pratinjau. Dapat diakses dalam Azure AI Studio, lingkungan pengembangan Adobe, ini seharusnya mengatasi apa yang disebut perusahaan sebagai analisis "lunak" terhadap panggilan telepon atau sumber audio lainnya. Elemen lembut dari panggilan dapat berupa konten semantik, atau bagaimana perasaan penelepon, yang mungkin lebih tidak kentara dibandingkan konten panggilan itu sendiri.
Analisis sentimen dapat mendeteksi detail seperti “tingkat empati yang ditunjukkan, komitmen peserta dan kekuatan argumen yang dibuat atau bahkan memprediksi kemungkinan alur percakapan,” jelas rilis tersebut.
Dalam transkrip panggilan telepon, misalnya, bagian dapat diberi label dengan peringkat frasa masing-masing pembicara sebagai "positif", "negatif", atau "netral". Anda dapat melihat demo interaktifnya di sini.
Untuk memungkinkan analisis yang cepat, Microsoft juga meluncurkan Transkripsi Cepat, yang diklaim oleh perusahaan sebagai "pengubah permainan untuk transkripsi secara luas" karena "sekarang dapat melakukan transkripsi 40x lebih cepat daripada waktu nyata (faktor waktu nyata<1)."
Menurut perusahaan, Transkripsi Cepat dapat menghemat "ribuan jam" agen pusat panggilan dengan menghilangkan kebutuhan untuk mencatat panggilan secara manual, dan dokter serta perawat dapat menganalisis percakapan dengan pasien dalam hitungan detik. “Media dan pembuat konten dapat menganalisis dan mengekstrak wawasan dari podcast atau wawancara segera setelah selesai,” lanjut rilis tersebut.
Microsoft mengatakan fitur tersebut akan tersedia bulan depan.
Contoh analisis pasca panggilan dengan pelanggan.
Untuk memenuhi kebutuhan penyebaran konten secara global, Microsoft juga meluncurkan dubbing video otomatis, yang menerjemahkan konten, menyatukan suara dalam bahasa target, dan menyinkronkannya ke video pembicara.
Selain itu, perusahaan mengumumkan pembaruan pada fitur terjemahan multibahasa, seperti kemampuan untuk mengganti bahasa untuk teks saat seseorang menonton siaran.