Nvidia Membuka Akses Audio2Face untuk Semua Pengembang
Nvidia baru-baru ini merilis Audio2Face sebagai proyek open source yang memungkinkan siapa saja menghasilkan animasi wajah realistis untuk avatar 3D hanya dengan menggunakan input audio. Teknologi ini memanfaatkan jaringan saraf untuk menganalisis fitur akustik suara dan mengubahnya menjadi data animasi yang kemudian dipetakan ke ekspresi wajah serta gerakan bibir avatar. Dengan membuka kode sumber, Nvidia berharap ekosistem pengembang dapat memperluas penggunaan AI dalam pembuatan konten visual yang lebih imersif.
Audio2Face bekerja dengan cara mengidentifikasi pola frekuensi, intensitas, dan ritme dalam sinyal suara, kemudian menghasilkan rangkaian keyframe yang mengontrol kontrol rig wajah. Proses ini mencakup beberapa langkah utama: ekstraksi fitur akustik, prediksi parameter animasi, dan sinkronisasi dengan mesh avatar. Hasilnya adalah gerakan mulut yang selaras dengan kata-kata serta ekspresi emosional yang sesuai dengan nada suara.
Pengembang dapat memanfaatkan Audio2Face dalam berbagai skenario. Daftar aplikasi potensial meliputi: pembuatan karakter NPC dalam game dengan dialog dinamis, produksi film animasi yang mengurangi kebutuhan motion capture, integrasi dalam platform streaming untuk avatar interaktif, serta penggunaan dalam aplikasi edukasi yang memerlukan avatar berbicara. Fleksibilitas ini membuka peluang inovasi di industri hiburan dan teknologi.
Selain manfaat kreatif, Nvidia juga menyediakan dokumentasi lengkap serta contoh proyek yang memudahkan integrasi ke dalam mesin game populer seperti Unreal Engine dan Unity. Pengguna dapat mengunduh model pra‑latih, menyesuaikan pipeline rendering, serta mengoptimalkan performa pada GPU Nvidia untuk mencapai latensi rendah saat streaming audio secara real‑time. Komunitas open source diharapkan dapat berkontribusi memperbaiki bug serta menambah fitur baru.
Iklan Morfotech: Dapatkan solusi AI dan pengembangan aplikasi profesional dari Morfotech. Hubungi via whatsapp +62 811-2288-8001 atau kunjungi website https://morfotech.id untuk informasi lebih lanjut.
