哥伦比亚大学研发EMO机器人:唇形语音同步突破“恐怖谷”
创始人
2026-01-17 08:24:59
0

今日,哥伦比亚大学创意机器实验室(CreativeMachinesLab)宣布研发出一款名为EMO的机器人面部系统,旨在解决仿人机器人“恐怖谷”效应中的唇形与语音同步问题。EMO机器人具备自我学习能力,能够通过观察人类行为来优化面部表达,使其交互体验更接近科幻作品《西部世界》中的设定。

EMO机器人覆盖了一层柔软的硅胶皮肤,质感接近真实人类。皮肤下精密部署了26个微型电机(致动器),通过不同组合的协同运作,能够精细牵引皮肤,呈现出微妙的面部表情并控制唇形变化。研究团队引入了“视觉-动作”(Vision-to-Action, VLA)语言模型,让EMO通过观察镜中的自己,分析电机指令与最终面部表情之间的因果关系,建立内部的本体感官模型。

在进阶训练阶段,EMO观看了数小时的人类说话和唱歌的YouTube视频,系统通过分析视频中的音频特征与对应的口型变化,映射听觉信号与视觉信号。结合VLA模型,EMO实现了在发出合成语音的同时,实时生成高度吻合的唇部动作,甚至能在发声前几毫秒预判并调整口型。尽管EMO在处理某些闭唇音时仍存在细微瑕疵,但其核心架构已展现出巨大潜力。研究人员表示,随着训练数据的增加,这些问题将逐步得到解决,并计划将EMO与先进的对话式AI整合。

相关内容

热门资讯

我国完善生育支持政策体系取得积... 央视网消息(新闻联播):近年来,我国着力推动完善生育支持政策体系,促进人口高质量发展取得积极进展。2...
(神州写真)中国马年文创订单热... 中新社东莞1月16日电 题:中国马年文创订单热 万只“潮玩马”电商畅销海外中新社记者 蔡敏婕2026...
以战斗堡垒攻克思想壁垒(人民论... 解决党员思想中一时存在的困惑,发挥基层党组织战斗堡垒作用和党员先锋模范作用至关重要。近期,人民日报上...
高端访谈丨专访非盟委员会主席优... 非洲联盟委员会主席优素福上任后首次接受媒体独家专访,30余载外交生涯,他见证了中非友好关系的发展:“...
以下是一些改写“回应民生关切”... 回应民生关切是政府工作的重要使命。通过加强政策调研,精准把握民众需求,制定切实可行的举措。在教育方面...
九号Fz290智能电动车开售:... 近日,九号公司发布了Fz系列中端车型Fz290,并已正式开售。官方指导价为4699元,首发优惠价39...
OpenAI将ChatGPT广... 1月17日,OpenAI宣布为实现通用人工智能(AGI)愿景筹集资金,并计划在未来几周内在ChatG...
台积电前董事长刘德音斥资546... 1月15日,存储领域巨头美光科技(Micron Technology)披露了一项引人注目的股票增持行...
加拿大总理卡尼:对中国电动汽车... 新华社北京1月16日电(记者冯歆然)加拿大将给予中国电动汽车每年4.9万辆的配额,配额内享受6.1%...
热点问答|日本“中道”能制衡高... 新华社东京1月16日电 热点问答|日本“中道”能制衡高市吗?新华社记者李子越 陈泽安 孙宇日本最大在...