OpenAI memungkinkan pengembang membuat aplikasi suara real-time - dengan biaya yang sangat mahal
Mengirim dan menerima audio real-time akan membebani pengembang dua kali lipat dibandingkan model bahasa besar yang hanya berisi teks.
Hari pengembang tahunan OpenAI berlangsung pada hari Rabu di San Francisco, dengan serangkaian pengumuman produk dan fitur. Inti dari acara ini adalah pengenalan antarmuka pemrograman aplikasi (API) real-time oleh perusahaan.
Fitur untuk pengembang memungkinkan untuk mengirim dan menerima input dan output bahasa lisan selama operasi inferensi, atau membuat prediksi dengan model bahasa produksi besar (LLM). Interaksi seperti ini diharapkan dapat memungkinkan percakapan yang lebih lancar dan real-time antara seseorang dan model bahasa.
Kemampuan ini juga memiliki harga yang mahal. OpenAI saat ini memberi harga pada model bahasa besar GPT-4o, yang merupakan model yang menjadi dasar API real-time, dengan harga $2,50 per juta token teks masukan, dan $10 per juta token keluaran.
Biaya input dan output real-time setidaknya dua kali lipat biaya tersebut, berdasarkan token teks dan audio, karena GPT-4o memerlukan kedua jenis input dan output. Token masukan dan keluaran untuk GPT-4o saat menggunakan API real-time masing-masing berharga $5 dan $20, per juta token.
Jadwal sibuk di hari pengembang.
Untuk token suara, biayanya mencapai $100 per juta token input audio dan $200 per juta token output audio.
OpenAI mencatat bahwa dengan statistik standar untuk percakapan suara, harga token audio "setara dengan sekitar $0,06 per menit input audio dan $0,24 per menit output audio."
Lembar harga OpenAI untuk panggilan fungsi API real-time dalam inferensi model bahasa besar GPT-4o.
OpenAI memberikan contoh bagaimana suara real-time dapat digunakan dalam AI generatif, termasuk pelatih kesehatan otomatis yang memberikan nasihat kepada seseorang, dan tutor bahasa yang dapat terlibat dalam percakapan dengan siswa untuk berlatih bahasa baru.
Selama konferensi pengembang, OpenAI menawarkan cara untuk mengurangi total biaya bagi pengembang, dengan caching cepat, yang menggunakan kembali token pada masukan yang sebelumnya telah dikirimkan ke model. Pendekatan tersebut memotong setengah harga token teks masukan GPT-4o.
Juga diperkenalkan pada hari Rabu adalah "distilasi" LLM, yang memungkinkan pengembang menggunakan data dari model yang lebih besar untuk melatih model yang lebih kecil.
Pengembang menangkap masukan dan keluaran dari salah satu model bahasa OpenAI yang lebih mumpuni, seperti GPT-4o, menggunakan teknik yang dikenal sebagai "penyelesaian tersimpan". Penyelesaian yang disimpan tersebut kemudian menjadi data pelatihan untuk "menyempurnakan" model yang lebih kecil, seperti GPT-4o mini.
OpenAI menagih layanan distilasi sebagai cara untuk menghilangkan banyak pekerjaan berulang yang diperlukan oleh pengembang untuk melatih model yang lebih kecil dari model yang lebih besar.
“Sampai saat ini, distilasi merupakan proses multi-langkah yang rawan kesalahan,” tulis blog perusahaan mengenai masalah tersebut, “yang mengharuskan pengembang untuk secara manual mengatur beberapa operasi di seluruh alat yang tidak terhubung, mulai dari menghasilkan kumpulan data hingga menyempurnakan model dan mengukur kinerja. perbaikan."
Distilasi hadir sebagai tambahan pada layanan penyempurnaan OpenAI yang sudah ada, perbedaannya adalah Anda dapat menggunakan pasangan input-output model yang lebih besar sebagai data penyempurnaan. Untuk layanan penyempurnaan, perusahaan pada hari Rabu menambahkan penyempurnaan gambar. Pengembang mengirimkan kumpulan data gambar, seperti halnya teks, untuk membuat model yang sudah ada, seperti GPT-4o, lebih spesifik untuk suatu tugas atau domain pengetahuan.
Contoh praktiknya adalah layanan pesan-antar makanan Grab. Perusahaan menggunakan gambar rambu jalan dunia nyata agar GPT-4o melakukan pemetaan rute pengiriman perusahaan. “Grab mampu meningkatkan akurasi penghitungan jalur sebesar 20% dan lokalisasi rambu batas kecepatan sebesar 13% dibandingkan model dasar GPT-4o, sehingga memungkinkan mereka mengotomatiskan operasi pemetaan dengan lebih baik dari proses manual sebelumnya,” jelas OpenAI.
Penetapan harga didasarkan pada pemotongan setiap gambar yang dikirimkan pengembang menjadi token, yang kemudian diberi harga $3,75 per juta token masukan dan $15 per juta token keluaran, sama dengan penyesuaian standar. Untuk model gambar pelatihan, biayanya adalah $25 per juta token.