科学家开发DIRFA：输入图片和音频，可生成说话视频
科学家开发DIRFA：输入图片和音频，可生成说话视频
IT之家 11 月 17 日消息，来自新加坡南洋理工大学（NTU Singapore）的科研团队近日开发出了 DIRFA 工具，用户给一张图片以及音频内容，可以自动生成 3D 视频，并实现口型和声音的同步协调。
DIRFA 的全称为 DIverse yet Realistic Facial Animations，训练了超过 6000 多人的 100 万个视频片段，音频片段来自一个名为 VoxCeleb2 数据集的开源数据库，并关联面部表情和头部运动。
研究人员表示，DIRFA 可能会在包括医疗保健在内的各个行业和领域带来新的应用，因为它可以实现更复杂和逼真的虚拟助手和聊天机器人，从而改善用户体验。
DIRFA 还可以作为言语或面部残疾人士的强大工具，帮助他们通过富有表现力的头像或数字表示来传达他们的想法和情感，从而增强他们的沟通能力。
IT之家附上论文参考地址：Rongliang Wu, Yingchen Yu, Fangneng Zhan, Jiahui Zhang, Xiaoqin Zhang, Shijian Lu. Audio-driven talking face generation with perse yet realistic facial animations. Pattern Recognition, 2023; 144: 109865 DOI: 10.1016/j.patcog.2023.109865
相关推荐
- 龙港三洋空调维修服务电话(如何快速联系客服解决问题)
- 苏州太仓三洋SANYO冰箱售后维修中心(如何区分冰箱和冰柜)
- 厦门集美三洋SANYO洗衣机售后服务电话号码是多少(洗衣机只向一个方向转)
- 中央空调不让打孔(如何实现无损安装)。
- 嘉兴三洋SANYO空调售后服务电话号码是多少(中央空调多联机安装费用怎么算)
- 商用中央空调使用年限(该如何判断是否需要更换)？
- 重庆渝北三洋SANYO冰箱售后服务电话号码是多少(察创维冰箱售后服务)
- TCL液晶电视江苏维修(如何找到可靠的维修服务商)
- 昆山市三洋SANYO空调报修电话(空调排名前10名品牌有哪些)
- 宜兴市三洋SANYO冰箱售后服务电话号码是多少(查询利勃海尔冰箱型号)