哥伦比亚大学研发EMO机器人:唇形语音同步突破“恐怖谷”
创始人
2026-01-17 08:24:59
0

今日,哥伦比亚大学创意机器实验室(CreativeMachinesLab)宣布研发出一款名为EMO的机器人面部系统,旨在解决仿人机器人“恐怖谷”效应中的唇形与语音同步问题。EMO机器人具备自我学习能力,能够通过观察人类行为来优化面部表达,使其交互体验更接近科幻作品《西部世界》中的设定。

EMO机器人覆盖了一层柔软的硅胶皮肤,质感接近真实人类。皮肤下精密部署了26个微型电机(致动器),通过不同组合的协同运作,能够精细牵引皮肤,呈现出微妙的面部表情并控制唇形变化。研究团队引入了“视觉-动作”(Vision-to-Action, VLA)语言模型,让EMO通过观察镜中的自己,分析电机指令与最终面部表情之间的因果关系,建立内部的本体感官模型。

在进阶训练阶段,EMO观看了数小时的人类说话和唱歌的YouTube视频,系统通过分析视频中的音频特征与对应的口型变化,映射听觉信号与视觉信号。结合VLA模型,EMO实现了在发出合成语音的同时,实时生成高度吻合的唇部动作,甚至能在发声前几毫秒预判并调整口型。尽管EMO在处理某些闭唇音时仍存在细微瑕疵,但其核心架构已展现出巨大潜力。研究人员表示,随着训练数据的增加,这些问题将逐步得到解决,并计划将EMO与先进的对话式AI整合。

相关内容

热门资讯

中国车企抢滩加拿大!吉利、奇瑞... 近日,中国新能源汽车企业纷纷布局加拿大市场。特斯拉重新推出中国制造的Model 3后,吉利、奇瑞、比...
重庆出台智能网联汽车高速测试新... 5月7日,重庆市经济信息委联合重庆市公安局、市交委发布《重庆市智能网联汽车高速公路测试管理细则(试行...
鸿蒙智行旗舰MPV智界V9 5... 5月7日,易车报道了智界V9即将上市的消息。这款新车将于5月15日正式与消费者见面,预售价从39.9...
大众CFO:电动车利润率将迎转... 5月7日,大众集团CFO阿诺·安特利茨在财报电话会上表示,目前电动汽车的利润率明显低于燃油车,预计只...
德国AI翻译巨头DeepL裁员... 5月7日,德国翻译工具初创公司DeepL宣布计划裁员约25%。DeepL CEO雅罗斯瓦夫·库蒂洛夫...
蔚来五一假期换电服务超百万次,... 近日,蔚来汽车发布了2026年五一假期用户加电报告。报告显示,5月1日至5月5日,蔚来能源在高速公路...
比亚迪大唐SUV预售破10万!... 近日,比亚迪王朝网宣布,其全尺寸旗舰SUV比亚迪大唐的预售订单已突破10万台。自开启预售以来,比亚迪...
五一假期蔚来换电服务破纪录:超... 5月7日,蔚来能源发布五一假期用户加电报告。5月1日至5月5日,蔚来能源在高速公路累计提供超1543...
本田暂停加拿大电动车工厂计划,... 近日,本田汽车宣布冻结在加拿大建设电动汽车工厂的计划。由于美国纯电动车需求疲软,本田决定在北美市场将...
15万起!五菱华境S携手华为打... 5月7日,上汽通用五菱宝骏华境S即将上市,作为五菱与华为合作的首款旗舰车型,预计起售价约15万元。华...