哥伦比亚大学研发EMO机器人:唇形语音同步突破“恐怖谷”
创始人
2026-01-17 08:24:59
0

今日,哥伦比亚大学创意机器实验室(CreativeMachinesLab)宣布研发出一款名为EMO的机器人面部系统,旨在解决仿人机器人“恐怖谷”效应中的唇形与语音同步问题。EMO机器人具备自我学习能力,能够通过观察人类行为来优化面部表达,使其交互体验更接近科幻作品《西部世界》中的设定。

EMO机器人覆盖了一层柔软的硅胶皮肤,质感接近真实人类。皮肤下精密部署了26个微型电机(致动器),通过不同组合的协同运作,能够精细牵引皮肤,呈现出微妙的面部表情并控制唇形变化。研究团队引入了“视觉-动作”(Vision-to-Action, VLA)语言模型,让EMO通过观察镜中的自己,分析电机指令与最终面部表情之间的因果关系,建立内部的本体感官模型。

在进阶训练阶段,EMO观看了数小时的人类说话和唱歌的YouTube视频,系统通过分析视频中的音频特征与对应的口型变化,映射听觉信号与视觉信号。结合VLA模型,EMO实现了在发出合成语音的同时,实时生成高度吻合的唇部动作,甚至能在发声前几毫秒预判并调整口型。尽管EMO在处理某些闭唇音时仍存在细微瑕疵,但其核心架构已展现出巨大潜力。研究人员表示,随着训练数据的增加,这些问题将逐步得到解决,并计划将EMO与先进的对话式AI整合。

相关内容

热门资讯

政策、产业、赛事“三箭齐发”,... 文/羊城晚报全媒体记者 徐炜伦 通讯员 天宣图/通讯员提供记者了解到,继今年7月份,CS项目首次在广...
提供风险保障22亿元!广东人保... 8月7日,全省现代化海洋牧场全产业链建设视频会在广州召开,推动国资国企等各方力量更大力度参与建设。过...
珠江口添丁! 150万尾本土苗... 8月6日上午,2026年广州市渔业资源增殖放流活动在番禺区石楼镇海鸥岛举行。活动现场共投放草鱼、鳙鱼...
再升级!广州出台早茶传统店总部... 清晨的广州茶楼,虾饺晶莹透亮,烧卖金黄饱满,一盅两件承载着千年商都的烟火气。然而,当越来越多的早茶品...
视频丨日本广岛民众举行游行 反... 6日,广岛民众举行大规模游行,要求日本政府坚持“无核三原则”,反对解禁杀伤性武器出口等危险行径。日本...
长江十年行|永川临江河:“幸福... 一条河,承载着一座城的记忆,也关乎一座城的未来。重庆市永川区,因三河相汇形似篆体“永”字而得名,“三...
活力中国调研行丨“智慧大脑”守... 原标题:活力中国调研行丨能监测、慧预警、快处置,“智慧大脑”守护城市生命线城市地下,智能传感设备24...
退役不慌,军属不愁!肇庆这场军... 近日,驻肇某部营区内举办了一场特殊的招聘会。这是武警肇庆支队联合肇庆军分区、肇庆市退役军人事务局等单...
裁判称赞大赛宣传氛围浓厚:接地... 第七届粤港澳大湾区“粤菜师傅”职业技能大赛裁判员吴秉楼8月7日接受采访时表示,今年大赛名厨组参赛选手...
县域“强身”:广东新型城镇化建... ·惠州市博罗县城。南都资料图8月上旬,一批专项债券即将发行,为广东第三批20个新型城镇化试点县(市)...