京东开源JoyAI-Echo长音视频生成框架,宣称进入全球第一梯队
创始人
2026-06-04 00:53:05
0次

6月3日,京东宣布开源JoyAI-Echo长音视频生成框架。该框架聚焦AI长视频生成的核心瓶颈——分钟级视频生成中角色形象难以稳定一致、音色变化难以控制、生成速度过慢三大行业痛点,以四大技术创新实现了长视频生成“又快又好”。

JoyAI-Echo最关键的突破在于内置了一个跨模态音视频记忆库,能在多镜头生成过程中持续保存并调用角色的外观特征和说话人音色信息,在长达5分钟的视频里保持角色身份、视觉形象和声音音色的高度一致。同时,框架创新采用记忆驱动后训练流程,结合SFT、跨模态RLHF和Distribution Matching Distillation等技术,其中DMD技术即带来约7.5倍的推理速度提升。此外,JoyAI-Echo还引入了智能“导演助理”Director Agent,支持用自然语言对话式编辑视频——用户只需说明修改意图,系统只重新生成有问题的局部镜头,无需重跑整条视频,实现了从“静态一次性生成”到“动态协作”的创作模式升级。框架还配套了轻量化实时超分模块,支持两档分辨率提升,即使在流式延迟约束下也能保持稳定的高清输出。

在性能评测方面,研发团队基于100个故事、3000个镜头构建了长音视频生成评测集。测试结果显示,JoyAI-Echo在所有核心指标上均取得领先表现,其中语音内容准确率高达0.8646,大幅领先其他同类模型。在与行业同类模型的对比中,用户对其音频质量的偏好比例为81.7%,提示词遵循偏好为80.6%,视觉美学偏好为63.6%。据智通财经报道,该框架的推出标志着京东在长视频生成领域进入全球第一梯队。JoyAI-Echo的代码与权重已全部开源,可广泛应用于数字人直播、品牌营销视频快速生成、教育内容和游戏内容生产等场景。

相关内容

热门资讯

半小时就能配齐一台机器人,深圳... 编者按:健康完备的经济生态,是推动高质量发展的重要保障。即日起,南方日报、南方+推出“解码广东经济生...
护航开学季,河源海事多措并举保... 金秋九月,新学期如期开启。为有效应对开学季学生水路返程高峰,切实防范化解水上交通安全风险,保障辖区学...
2026广马来了!9月2日10... 广州马拉松赛组委会今日(9月1日)发布消息,2026广州马拉松赛将于9月2日10点开启报名。记者了解...
救援,救援!再难也要继续 在吉隆口岸核心受灾区搜救队伍度过了风雨交加的一晚队员们为应对可能突然而至的泥石流只能穿衣而眠天亮之后...
新华视点|深耕特色产业 激活乡... 近年来,各地立足资源禀赋,因地制宜发展特色种养、农光互补等乡村产业。通过建好基地、延伸链条、带动就近...
潮涌湾区,文通四海 第六届粤港... 羊城晚报全媒体记者梁善茵、熊安娜、李娇娇、阎回、谢婉莹报道:由广东省作家协会主办的第六届粤港澳大湾区...
净环境、畅通行、排隐患!广州城... 9月1日,广州中小学、幼儿园迎来秋季新学期。开学前夕,广州市城市管理和综合执法局统筹各区城管部门,聚...
高端访谈|愿同中国持续巩固永久... 新华社比什凯克9月1日电 高端访谈|愿同中国持续巩固永久全面战略伙伴关系——访哈萨克斯坦总统托卡耶夫...
西藏吉隆:巡逻在撤离村庄的党员... 8月26日上午,因尼泊尔一侧发生泥石流灾害,造成我方一侧通往吉隆口岸的道路、通信、电力中断。西藏吉隆...
一颗“粤芯”,如何撬动大湾区集... 8月28日,粤芯半导体技术股份有限公司(下称“粤芯半导体”)取得中国证监会IPO注册批文,成为创业板...