阿里云发布多模态交互开发套件,AI硬件设备新突破
创始人
2026-01-08 12:51:57
0次

今日,阿里云在通义智能硬件展上发布了全新的多模态交互开发套件,该套件集成了千问、万相、百聆三款通义基础大模型,并预置了十多款Agent和MCP工具,覆盖生活休闲、工作效率等领域。这些工具不仅能够听和看,还能思考并与物理世界交互,适用于AI眼镜、学习机、陪伴玩具、智能机器人等多种硬件设备。阿里云宣称,该开发套件为硬件企业和解决方案商提供了一个低开发门槛、响应速度快、场景丰富的平台。

在芯片层面,该套件适配了30多款主流ARM、RISC-V和MIPS架构终端芯片平台,满足市面上绝大多数硬件设备的快速接入需求。未来,通义大模型将与玄铁RISC-V实现软硬全链路的协同优化,以提高在RISC-V架构上的部署和推理性能。在模型优化层面,阿里云针对多模态交互场景推出了专有模型,全面支持全双工语音、视频、图文等交互方式,端到端语音交互时延低至1秒,视频交互时延低至1.5秒。

此外,该套件预置了MCP工具与Agent,接入了阿里云百炼平台生态,用户可以添加其他开发者提供的MCP和Agent模板,并通过A2A协议兼容三方Agent,扩展应用的能力边界。阿里云还展示了面向智能穿戴设备、陪伴机器人、具身智能等领域的解决方案,如基于千问VL、百聆CosyVoice等模型的AI眼镜,实现了同声传译、拍照翻译、多模态备忘录、录音转写等功能。在家庭陪伴机器人场景中,解决方案能够实时监测异常状况并推送告警信息,同时支持基于关键词的视频查找、定位和对话交互。

相关内容

热门资讯

半小时就能配齐一台机器人,深圳... 编者按:健康完备的经济生态,是推动高质量发展的重要保障。即日起,南方日报、南方+推出“解码广东经济生...
护航开学季,河源海事多措并举保... 金秋九月,新学期如期开启。为有效应对开学季学生水路返程高峰,切实防范化解水上交通安全风险,保障辖区学...
2026广马来了!9月2日10... 广州马拉松赛组委会今日(9月1日)发布消息,2026广州马拉松赛将于9月2日10点开启报名。记者了解...
救援,救援!再难也要继续 在吉隆口岸核心受灾区搜救队伍度过了风雨交加的一晚队员们为应对可能突然而至的泥石流只能穿衣而眠天亮之后...
新华视点|深耕特色产业 激活乡... 近年来,各地立足资源禀赋,因地制宜发展特色种养、农光互补等乡村产业。通过建好基地、延伸链条、带动就近...
潮涌湾区,文通四海 第六届粤港... 羊城晚报全媒体记者梁善茵、熊安娜、李娇娇、阎回、谢婉莹报道:由广东省作家协会主办的第六届粤港澳大湾区...
净环境、畅通行、排隐患!广州城... 9月1日,广州中小学、幼儿园迎来秋季新学期。开学前夕,广州市城市管理和综合执法局统筹各区城管部门,聚...
高端访谈|愿同中国持续巩固永久... 新华社比什凯克9月1日电 高端访谈|愿同中国持续巩固永久全面战略伙伴关系——访哈萨克斯坦总统托卡耶夫...
西藏吉隆:巡逻在撤离村庄的党员... 8月26日上午,因尼泊尔一侧发生泥石流灾害,造成我方一侧通往吉隆口岸的道路、通信、电力中断。西藏吉隆...
一颗“粤芯”,如何撬动大湾区集... 8月28日,粤芯半导体技术股份有限公司(下称“粤芯半导体”)取得中国证监会IPO注册批文,成为创业板...