Model AI VLOGGER Google dapat menghasilkan avatar video dari gambar - apa yang salah?

Teknologi AI ini dapat menghasilkan agen layanan bantuan yang lebih relevan atau gelombang baru deepfake yang meyakinkan.

VLOGGER dapat mengambil satu foto seseorang dan membuat klip dengan ketelitian tinggi dan panjang yang bervariasi, dengan ekspresi wajah dan gerakan tubuh yang akurat, hingga sekejap, melebihi jenis perangkat lunak "kepala yang berbicara" sebelumnya.

Komunitas Kecerdasan Buatan (AI) sudah begitu mahir dalam menghasilkan gambar bergerak palsu -- lihatlah Sora dari OpenAI, yang diperkenalkan bulan lalu, dengan fly-through imajinernya yang apik -- sehingga kita harus mengajukan pertanyaan intelektual dan praktis: apa haruskah kita lakukan dengan semua video ini?

Minggu ini, pakar Google Enric Corona dan rekan-rekannya menjawab: kendalikan mereka menggunakan alat VLOGGER kami. VLOGGER dapat menghasilkan video beresolusi tinggi yang berisi orang-orang berbicara berdasarkan satu foto. Yang lebih penting lagi, VLOGGER dapat menganimasikan video berdasarkan sampel ucapan, artinya teknologi ini dapat menganimasikan video dalam bentuk seseorang yang terkontrol -- sebuah "avatar" dengan ketelitian tinggi.

Alat ini dapat mengaktifkan segala jenis kreasi. Pada tingkat yang paling sederhana, tim Corona berpendapat bahwa VLOGGER dapat berdampak besar pada avatar helpdesk karena manusia yang berbicara sintetis dan terlihat lebih realistis dapat "mengembangkan empati." Mereka berpendapat bahwa teknologi ini dapat "memungkinkan kasus penggunaan yang benar-benar baru, seperti peningkatan komunikasi online, pendidikan, atau asisten virtual yang dipersonalisasi."

VLOGGER juga dapat mengarah pada terobosan baru dalam deepfake, kemiripan nyata yang mengatakan dan melakukan hal-hal yang sebenarnya tidak pernah dilakukan oleh orang sebenarnya. Tim Corona bermaksud untuk memberikan pertimbangan mengenai implikasi sosial dari VLOGGER dalam materi pendukung tambahan. Namun, materi tersebut tidak tersedia di halaman GitHub proyek. ZDNET menghubungi Corona untuk menanyakan materi pendukung tetapi belum menerima balasan hingga waktu penerbitan.

Seperti yang dijelaskan dalam makalah resmi, "VLOGGER: Difusi Multimodal untuk Sintesis Avatar yang Terwujud", tim Corona bertujuan untuk mengatasi ketidakakuratan seni dalam avatar. “Pembuatan video realistis manusia masih kompleks dan penuh dengan artefak,” tulis tim Corona.

Tim mencatat bahwa avatar video yang ada sering kali memotong tubuh dan tangan, hanya memperlihatkan wajah. VLOGGER dapat menampilkan seluruh batang tubuh beserta gerakan tangan. Alat lain biasanya memiliki variasi terbatas pada ekspresi wajah atau pose, hanya menawarkan sinkronisasi bibir yang belum sempurna. VLOGGER dapat menghasilkan "video resolusi tinggi dari gerakan kepala dan tubuh bagian atas […] yang menampilkan ekspresi wajah dan gerak tubuh yang sangat beragam" dan merupakan "pendekatan pertama untuk menghasilkan manusia yang berbicara dan bergerak berdasarkan masukan ucapan."

Seperti yang dijelaskan oleh tim peneliti, "otomatisasi dan realisme perilakulah yang menjadi tujuan kami dalam pekerjaan ini: VLOGGER adalah antarmuka multi-modal untuk agen percakapan yang diwujudkan, dilengkapi dengan representasi audio dan visual animasi, yang menampilkan representasi kompleks ekspresi wajah dan peningkatan gerakan tubuh, dirancang untuk mendukung percakapan alami dengan pengguna manusia."

Berdasarkan satu foto, kiri, perangkat lunak VLOGGER memprediksi bingkai video, kanan, yang akan menyertai setiap momen file suara seseorang yang berbicara, menggunakan proses yang dikenal sebagai "difusi", dan kemudian menghasilkan bingkai video tersebut dalam kecepatan tinggi. -kualitas definisi.

VLOGGER menyatukan beberapa tren terkini dalam pembelajaran mendalam.

Multi-modalitas menyatukan banyak mode yang dapat diserap dan disintesis oleh alat AI, termasuk teks dan audio, serta gambar dan video.

Model bahasa besar seperti GPT-4 OpenAI memungkinkan penggunaan bahasa alami sebagai masukan untuk mendorong berbagai jenis tindakan, baik itu membuat paragraf teks, lagu, atau gambar.

Para peneliti juga telah menemukan banyak cara untuk membuat gambar dan video yang hidup dalam beberapa tahun terakhir dengan menyempurnakan “difusi.” Istilah ini berasal dari fisika molekuler dan mengacu pada bagaimana, ketika suhu meningkat, partikel-partikel materi berubah dari yang sangat terkonsentrasi di suatu area menjadi lebih tersebar. Dengan analogi, bit-bit informasi digital dapat dilihat sebagai "menyebar" jika semakin tidak koheren dengan gangguan digital.

Difusi AI memasukkan noise ke dalam gambar dan merekonstruksi gambar asli untuk melatih jaringan saraf guna menemukan aturan yang digunakan dalam pembuatannya. Difusi adalah akar dari proses pembuatan gambar yang mengesankan dalam Difusi Stabil Stability AI dan DALL-E OpenAI. Ini juga cara OpenAI membuat video yang apik di Sora.

Untuk VLOGGER, tim Corona melatih jaringan saraf untuk mengaitkan audio pembicara dengan frame video individual dari pembicara tersebut. Tim menggabungkan proses difusi dalam merekonstruksi bingkai video dari audio menggunakan inovasi terbaru lainnya, Transformer.

Transformer menggunakan metode perhatian untuk memprediksi frame video berdasarkan frame yang terjadi di masa lalu, bersamaan dengan audio. Dengan memprediksi tindakan, jaringan saraf belajar menampilkan gerakan tangan dan tubuh serta ekspresi wajah yang akurat, bingkai demi bingkai, selaras dengan audio.

Langkah terakhir adalah menggunakan prediksi dari jaringan saraf pertama tersebut untuk selanjutnya menggerakkan pembuatan bingkai video resolusi tinggi menggunakan jaringan saraf kedua yang juga menggunakan difusi. Langkah kedua ini juga merupakan tanda penting dalam data.

Untuk membuat gambar beresolusi tinggi, tim Corona mengumpulkan MENTOR, kumpulan data yang menampilkan 800.000 “identitas” video orang yang berbicara. MENTOR terdiri dari 2.200 jam video, yang diklaim oleh tim sebagai "kumpulan data terbesar yang digunakan hingga saat ini dalam hal identitas dan durasi" dan 10 kali lebih besar dari kumpulan data serupa sebelumnya.

Para penulis menemukan bahwa mereka dapat meningkatkan proses tersebut dengan langkah lanjutan yang disebut “penyempurnaan”. Dengan mengirimkan video berdurasi penuh ke VLOGGER, setelah "dilatih" di MENTOR, mereka dapat secara lebih realistis menangkap kekhasan gerakan kepala seseorang, seperti berkedip: "Dengan menyempurnakan model difusi kami dengan lebih banyak data , pada video monokuler suatu subjek, VLOGGER dapat belajar menangkap identitas dengan lebih baik, misalnya ketika gambar referensi menampilkan mata tertutup," sebuah proses yang oleh tim disebut sebagai "personalisasi."

Jaringan saraf VLOGGER adalah kombinasi dari dua jaringan saraf yang berbeda. Yang pertama menggunakan "perhatian terselubung" melalui Transformer untuk memprediksi pose apa yang harus terjadi dalam bingkai video berdasarkan suara yang berasal dari sinyal audio yang direkam dari pembicara. Jaringan saraf kedua menggunakan difusi untuk menghasilkan urutan bingkai video yang konsisten menggunakan petunjuk gerakan tubuh dan ekspresi dari jaringan saraf pertama.

Poin yang lebih besar dari pendekatan ini -- menghubungkan prediksi dalam satu jaringan saraf dengan citra beresolusi tinggi, dan apa yang membuat VLOGGER provokatif -- adalah bahwa program ini tidak hanya menghasilkan video, seperti yang dilakukan Sora. VLOGGER menghubungkan video tersebut dengan tindakan dan ekspresi yang dapat dikontrol. Videonya yang nyata dapat dimanipulasi saat dibuka, seperti boneka.

“Tujuan kami adalah untuk menjembatani kesenjangan antara upaya sintesis video baru-baru ini,” tulis tim Corona, “yang dapat menghasilkan video dinamis tanpa kendali atas identitas atau pose, dan metode pembuatan gambar yang dapat dikontrol.”

VLOGGER tidak hanya dapat menjadi avatar yang digerakkan oleh suara, namun juga dapat menghasilkan fungsi pengeditan, seperti mengubah mulut atau mata subjek yang berbicara. Misalnya, orang virtual yang banyak berkedip dalam sebuah video bisa saja diubah menjadi sedikit berkedip atau tidak berkedip sama sekali. Cara berbicara dengan mulut lebar dapat dipersempit menjadi gerakan bibir yang lebih terkendali.

Setelah mencapai cara untuk mengontrol video resolusi tinggi melalui isyarat suara, VLOGGER membuka cara untuk memanipulasi, seperti mengubah gerakan bibir speaker di setiap bentangan video agar berbeda dari video sumber aslinya.

Setelah mencapai kecanggihan baru dalam melakukan simulasi manusia, pertanyaan yang belum terjawab oleh tim Corona adalah apa yang diharapkan dunia dari penyalahgunaan teknologi. Sangat mudah untuk membayangkan gambaran seorang tokoh politik yang mengatakan sesuatu yang sangat buruk tentang, misalnya, perang nuklir yang akan segera terjadi.

Agaknya, tahap selanjutnya dalam permainan avatar ini adalah jaringan saraf yang, seperti 'tes Voight-Kampff' di film Blade Runner, dapat membantu masyarakat mendeteksi speaker mana yang asli dan mana yang hanya deepfake dengan cara yang sangat mirip aslinya.