Robot Ini Belajar Lip Sync dari YouTube, dan Hasilnya Bikin Kagum!

Robot bernama Emo dikembangkan peneliti Columbia Engineering buat bisa nyanyi dan ngomong kayak manusia cuma dengan nonton video YouTube. Teknologi ini pakai sistem pembelajaran audio-visual canggih yang bikin ekspresi wajah robot makin natural dan nggak creepy.

POPERS.ID | Bayangin ada robot yang bisa nyanyi dan ngomong kayak manusia cuma karena nonton YouTube. Kedengarannya konyol? Tapi ini beneran kejadian. Tim peneliti dari Columbia Engineering baru aja ngenalin robot wajah super realistis bernama Emo dan robot ini literally belajar lip sync cuma dari video orang ngomong dan nyanyi di internet.

Emo bukan robot humanoid full body yang bisa jalan-jalan, tapi lebih ke robot wajah yang didesain buat riset komunikasi manusia. Wajahnya dilapisi kulit silikon lembut dan digerakin sama 26 motor kecil independen di area bibir, rahang, dan pipi. Jadi tiap gerakan mulutnya bisa super detail kayak waktu manusia ngucap 24 konsonan dan 16 vokal yang beda-beda bentuknya.

Tujuan utamanya? Biar robot kayak Emo nggak kelihatan “aneh” atau ngeri pas ngomong, alias buat ngurangin efek uncanny valley fenomena di mana robot terlihat hampir kayak manusia tapi malah bikin orang ngerasa nggak nyaman.

Belajar Lip Sync Ala Manusia

Proses belajar Emo ternyata panjang juga. Di tahap awal, si Emo “kenalan” dulu sama mukanya sendiri. Ia ngaca di depan cermin, terus gerakin motor-motornya buat ngerti gimana bentuk wajahnya berubah waktu ngomong. Dari situ, sistem AI-nya mulai paham hubungan antara perintah motorik dan ekspresi wajah.

Langkah berikutnya, peneliti ngebangun sistem pembelajaran otomatis yang nyambungin suara dengan gerakan wajah. Emo kemudian dikasih “tugas nonton YouTube” selama berjam-jam video orang ngomong dan nyanyi dalam berbagai bahasa. Dari situ, AI-nya menganalisis hubungan antara suara (audio) dan gerakan bibir (visual).

Yang keren, sistem ini nggak fokus ke makna kata, tapi ke pola suara mentahnya. Jadi AI-nya lebih fokus ke bagaimana suara itu terdengar, bukan artinya. Ada semacam facial action transformer yang ngubah pola suara tadi jadi gerakan motorik real-time di wajah Emo.

Bisa Lip Sync Multibahasa

Hasilnya cukup gokil: Emo bisa lip sync bukan cuma dalam bahasa Inggris, tapi juga bahasa yang belum pernah dia pelajari sebelumnya termasuk Prancis, Arab, sampai Mandarin. Dan nggak cuma ngomong, Emo juga bisa ngikutin nyanyian dengan cukup akurat, padahal nyanyi itu jauh lebih susah karena ada tempo dan vokal yang panjang-panjang.

Menurut para peneliti, ini penting banget buat masa depan robot yang bakal kerja bareng manusia di rumah dan kantor. Soalnya, komunikasi alami termasuk ekspresi wajah yang sinkron sama suara bikin interaksi dengan robot terasa lebih nyaman dan manusiawi.

Robot-Robot Makin “Sosial”

Tren ini makin keliatan di CES 2026, pameran teknologi terbesar di dunia. Ada banyak robot baru yang unjuk gigi: dari Atlas buatan Boston Dynamics yang siap bantu kerja di tempat industri, sampai SwitchBot yang bisa bantu masak dan nyuci di rumah. Bahkan LG juga siapin robot asisten rumah tangga buat bantu kegiatan sehari-hari.

Dengan kemajuan kayak kulit buatan yang bisa “merasa” dan sistem lip sync realistis kayak Emo, pelan-pelan robot mulai terasa kayak teman, bukan mesin.

Emo sendiri masih sebatas proyek riset, tapi eksperimen ini ngasih gambaran jelas: mungkin aja nanti robot bisa belajar keterampilan manusia ngomong, berekspresi, bahkan berinteraksi cuma dengan nonton dan dengerin kayak kita.

_{^{source: Digitaltrends}}