网易互娱AI Lab虚拟偶像技术，惊艳亮相浙江卫视跨年晚会

2020年12月31日晚,“美好有你”2021年浙江卫视跨年晚会精彩上演。网易互娱AI Lab与可以传媒联合打造的数字女孩“万一”,在晚会中首次惊艳亮相,其逼真细腻的表情和灵动自然的神态变化,令人眼前一亮。以数字人物替代真人进行节目演出,将炫酷的虚拟偶像技术与大胆的内容创意相结合,日渐成熟的AI制作技术,为即时性、现场感强的直播类晚会带来了一种全新的呈现模式。

在浙江卫视跨年晚会中穿插的四条下节预告VCR中,万一化身AR世界里的虚拟助手,出演了在跨年夜这天与四个人物之间发生的小故事。虽然是数字人,但万一的形态堪比真人。从表情上看,这个青春可爱的女孩高度还原了真人的神态,她的眼神、唇动、眉毛、甚至法令纹等表情变化都细致入微。说话时,她的每一个字都能精准匹配相应的口型。在不同的语境下,不论是天真机灵、嘟嘴生气,还是惊讶好奇的多种情绪变化,万一都能生动演绎、精准表达。而这一切,都离不开网易互娱AI Lab的AIxFace面部动捕技术的强力支撑。

通过AIxFace实现的万一表情特写

AIxFace是网易互娱AI Lab开发的轻量级面部动捕系统,不同于传统的面部动捕技术,AIxFace无需复杂专业的动作捕捉场地和设备,也不需要设置任何面部标记点,只需要一个单目摄像头,就可以实时将演员的面部表情迁移到数字女孩万一的脸上,并实现舌头、视线、口型等表情细节变化的精准跟踪。虚拟偶像的面部表情向来是粉丝衡量其表现力的重要标准,然而为了实现高水准的神态变化,其耗费的技术成本通常比较高昂,这也是虚拟偶像行业的关键门槛之一。借助AIxFace,万一的表情动画在动捕阶段就可以基本实时展现出最终的效果,这能够大幅节省制作时间和成本,给后期渲染等环节预留更多的空间,最终达到晚会所呈现的动画效果。

AIxFace面部动捕技术效果展示

(眼神、眉动、法令纹、嘴型变化跟踪)

除了动画制作,AIxFace凭借其实时驱动的特性,还能够帮助虚拟偶像真正“打破次元壁”。过去,由于技术局限,传统的虚拟偶像即便可以通过全息技术进行线下演出,但也难以根据实况与粉丝进行互动。通过AIxFace,虚拟偶像可实现在直播等场景与观众实时互动,在与粉丝拉近距离的同时能确保准确而传神的表情变化,增强情绪的感染力和真实感。在万一项目之前,AIxFace已成功帮助多个虚拟人物实现直播互动,例如《第五人格》Bilibili秃秃杯游戏决赛的虚拟侦探主播,首秀即突破60万人气值。

《第五人格》Bilibili“秃秃杯”虚拟侦探直播

(AIxFace实现眼神、口型的精准跟踪)

网易互娱AI Lab成立于2017年,是游戏行业领先的人工智能实验室,除了致力于游戏场景下的AI落地研究以外,同时也提供虚拟偶像相关的人工智能技术支持,如面部表情动捕、视频动捕和音乐自动生成舞蹈动画等。网易互娱AI Lab希望通过领先的人工智能技术不断提升虚拟偶像内容生成的智能化程度,进一步增强虚拟偶像的精细度、真实感和交互能力,从而促进其商业模式逐渐走向多元化。未来,虚拟偶像不仅可以活跃在当下已非常普遍的影视、游戏、直播领域,也能够逐渐扩展至金融、教育、医疗等更加广阔的应用场景。