哥伦比亚大学研发EMO机器人:唇形语音同步突破“恐怖谷”
创始人
2026-01-17 08:24:59
0次

今日,哥伦比亚大学创意机器实验室(CreativeMachinesLab)宣布研发出一款名为EMO的机器人面部系统,旨在解决仿人机器人“恐怖谷”效应中的唇形与语音同步问题。EMO机器人具备自我学习能力,能够通过观察人类行为来优化面部表达,使其交互体验更接近科幻作品《西部世界》中的设定。

EMO机器人覆盖了一层柔软的硅胶皮肤,质感接近真实人类。皮肤下精密部署了26个微型电机(致动器),通过不同组合的协同运作,能够精细牵引皮肤,呈现出微妙的面部表情并控制唇形变化。研究团队引入了“视觉-动作”(Vision-to-Action, VLA)语言模型,让EMO通过观察镜中的自己,分析电机指令与最终面部表情之间的因果关系,建立内部的本体感官模型。

在进阶训练阶段,EMO观看了数小时的人类说话和唱歌的YouTube视频,系统通过分析视频中的音频特征与对应的口型变化,映射听觉信号与视觉信号。结合VLA模型,EMO实现了在发出合成语音的同时,实时生成高度吻合的唇部动作,甚至能在发声前几毫秒预判并调整口型。尽管EMO在处理某些闭唇音时仍存在细微瑕疵,但其核心架构已展现出巨大潜力。研究人员表示,随着训练数据的增加,这些问题将逐步得到解决,并计划将EMO与先进的对话式AI整合。

相关内容

热门资讯

半小时就能配齐一台机器人,深圳... 编者按:健康完备的经济生态,是推动高质量发展的重要保障。即日起,南方日报、南方+推出“解码广东经济生...
护航开学季,河源海事多措并举保... 金秋九月,新学期如期开启。为有效应对开学季学生水路返程高峰,切实防范化解水上交通安全风险,保障辖区学...
2026广马来了!9月2日10... 广州马拉松赛组委会今日(9月1日)发布消息,2026广州马拉松赛将于9月2日10点开启报名。记者了解...
救援,救援!再难也要继续 在吉隆口岸核心受灾区搜救队伍度过了风雨交加的一晚队员们为应对可能突然而至的泥石流只能穿衣而眠天亮之后...
新华视点|深耕特色产业 激活乡... 近年来,各地立足资源禀赋,因地制宜发展特色种养、农光互补等乡村产业。通过建好基地、延伸链条、带动就近...
潮涌湾区,文通四海 第六届粤港... 羊城晚报全媒体记者梁善茵、熊安娜、李娇娇、阎回、谢婉莹报道:由广东省作家协会主办的第六届粤港澳大湾区...
净环境、畅通行、排隐患!广州城... 9月1日,广州中小学、幼儿园迎来秋季新学期。开学前夕,广州市城市管理和综合执法局统筹各区城管部门,聚...
高端访谈|愿同中国持续巩固永久... 新华社比什凯克9月1日电 高端访谈|愿同中国持续巩固永久全面战略伙伴关系——访哈萨克斯坦总统托卡耶夫...
西藏吉隆:巡逻在撤离村庄的党员... 8月26日上午,因尼泊尔一侧发生泥石流灾害,造成我方一侧通往吉隆口岸的道路、通信、电力中断。西藏吉隆...
一颗“粤芯”,如何撬动大湾区集... 8月28日,粤芯半导体技术股份有限公司(下称“粤芯半导体”)取得中国证监会IPO注册批文,成为创业板...