阿里巴巴发布PrismAudio:AI视频同步音效生成技术突破
创始人
2026-03-24 17:06:52
0

3月24日,阿里巴巴通义实验室发布了PrismAudio,一个视频生成音频框架,专注于环境音/音效合成。PrismAudio结合强化学习与思维链,通过四位“老师”——语义、时序、美学和空间老师——对模型进行评分,确保生成的音频与视频内容同步且自然。

PrismAudio的工作流程分为三步:首先,模型在生成音频前会“写笔记”,即生成一份行动指南,包括视频内容、声音类型、开始和结束时间等;其次,四位老师分别使用不同的打分器对音频进行评分,确保音频在语义、时序、美学和空间上的表现;最后,通过Fast-GRPO算法优化模型,提高训练效率,减少训练时间。

在性能测试中,PrismAudio在VGGSound测试集上超越了现有最佳方法,并在AudioCanvas测试集上表现更加出色。该模型参数仅有5.18亿,生成9秒音频仅需0.63秒,显示出其轻量级和实用性。PrismAudio的研究已被ICLR2026收录,代码即将开源。

相关内容

热门资讯

广东发布公共文化服务、哲学社会... 文化繁荣兴盛是中国式现代化的重要标志。近年来,广东牢牢把握新时代的文化使命,坚持“两个结合”,持续优...
上半年广东21地市GDP全部正... 当深圳华强北的“AI八骏”第三次迭代亮相粤北地区的韶关也正加快向“智算之城”跃升多座数据中心建设如火...
广东韶关乳源瑶族自治县:“村播... 【为推进中国式现代化凝聚磅礴力量·瞧瞧咱的“村字号”】光明日报记者 陈慧娟 吴春燕晚上9点,黄凌芸准...
“草根”厚度:粤BA最坚实的底... 文/羊城晚报全媒体记者 郝浩宇 吕航图/羊城晚报全媒体记者 钟振彬 柳诚一场省级草根篮球的决赛,能吸...
职业教育在乡土间扎根 一根青藤... 文/图 羊城晚报全媒体记者 郭子扬从河源市连平县城驱车前往垇肚村,大概30分钟的车程。过了九连山隧道...
广东高招财贸专业“回暖”外语类... 今年广东高招一些财经类大学排位上升、一些外语类大学排位下降羊城晚报全媒体记者 孙唯 实习生 杜沂鲜2...
利剑严打非公受贿,广州荔湾公安... 近日,广州市公安局荔湾分局在“平安厅”广州公安局长信箱收到辖区企业发来的感谢信,信中对分局经侦大队高...
HYROX解说员的失当戏谑,是... 8月1日,在HYROX全球健身跑系列赛事成都站,38岁的乒乓球奥运冠军张继科跨界站上了体能赛的赛道,...
大美岭南 | 韶关丹霞山:红岩... 清晨,第一缕阳光穿过云层,洒向粤北群山。丹霞山的赤壁丹崖渐渐被唤醒,云雾在峰林间游走,锦江静静流淌,...
暑期惠民舞台 孩子成了“主角” ■台上,演员在认真表演;台下,演员与小观众互动交流。 受访者供图新快报讯 记者李应华 通讯员陈文怡报...