京东开源JoyAI-Echo长音视频生成框架,宣称进入全球第一梯队
创始人
2026-06-04 00:53:05
0

6月3日,京东宣布开源JoyAI-Echo长音视频生成框架。该框架聚焦AI长视频生成的核心瓶颈——分钟级视频生成中角色形象难以稳定一致、音色变化难以控制、生成速度过慢三大行业痛点,以四大技术创新实现了长视频生成“又快又好”。

JoyAI-Echo最关键的突破在于内置了一个跨模态音视频记忆库,能在多镜头生成过程中持续保存并调用角色的外观特征和说话人音色信息,在长达5分钟的视频里保持角色身份、视觉形象和声音音色的高度一致。同时,框架创新采用记忆驱动后训练流程,结合SFT、跨模态RLHF和Distribution Matching Distillation等技术,其中DMD技术即带来约7.5倍的推理速度提升。此外,JoyAI-Echo还引入了智能“导演助理”Director Agent,支持用自然语言对话式编辑视频——用户只需说明修改意图,系统只重新生成有问题的局部镜头,无需重跑整条视频,实现了从“静态一次性生成”到“动态协作”的创作模式升级。框架还配套了轻量化实时超分模块,支持两档分辨率提升,即使在流式延迟约束下也能保持稳定的高清输出。

在性能评测方面,研发团队基于100个故事、3000个镜头构建了长音视频生成评测集。测试结果显示,JoyAI-Echo在所有核心指标上均取得领先表现,其中语音内容准确率高达0.8646,大幅领先其他同类模型。在与行业同类模型的对比中,用户对其音频质量的偏好比例为81.7%,提示词遵循偏好为80.6%,视觉美学偏好为63.6%。据智通财经报道,该框架的推出标志着京东在长视频生成领域进入全球第一梯队。JoyAI-Echo的代码与权重已全部开源,可广泛应用于数字人直播、品牌营销视频快速生成、教育内容和游戏内容生产等场景。

相关内容

热门资讯

粤BA战幕落下 一场草根篮球盛... 文/羊城晚报全媒体记者 郝浩宇 吕航图/羊城晚报全媒体记者 钟振彬 柳诚 邓鼎园八月盛夏,铄石流金,...
松花江发生2026年第1号洪水 水利部8月2日早发布消息,受降雨影响,2日3时54分,松花江佳木斯水文站(黑龙江省佳木斯)水位涨至7...
羊城晚报独家对话孙中山后人孙伟... 7月末的广州骄阳似火。碧空之下,中山纪念堂更显庄严肃穆。这座由建筑大师吕彦直设计的殿堂,不仅是中国近...
应对台风“红霞”,广东累计转移... 今年第12号台风“红霞”于7月26日3时50分前后以强台风级(45米/秒,14级)在惠州市惠东县平海...
我国社会稳定形势持续向好——公... 新华社北京7月24日电 题:我国社会稳定形势持续向好——公安机关全力服务保障“十五五”开局起步新华社...
广州地铁停运区段恢复正常运营服... 随着“台风红霞”影响已减弱,经检查确认各线路安全,恢复运营服务具体安排如下:一、7月26日11时起,...
啥是“宇宙作战集团”?日本把手... 近期,日本参议院全体会议通过《防卫省设置法》等修正案,将沿用了72年的“航空自卫队”正式更名为“航空...
原创历史舞台剧菊石同心首演 宋庆龄与何香凝“女性救国”革命情谊被搬上舞台新快报讯 记者李佳文报道 7月25日晚,由孙中山大元帅府...
防风水文测报Ⅰ级应急响应!广东... 记者7月25日夜间从广东省水文局获悉,鉴于台风“红霞”近岸加强,即将以强台风级登陆广东并带来严重的风...
持续擦亮“广货行天下”金字招牌 文 | 高维7月24日,2026广东优品展开幕式暨“广货行天下”秋季行动在广州正式启幕,多部门现场发...