华为携手中科弘云发布AI推理加速方案,首Token时延降低57.5%
创始人
2025-12-23 17:06:42
0

今日,华为数据存储与中科弘云联合发布了AI推理加速解决方案,旨在优化长序列推理体验。该方案以华为OceanStorA系列存储为基础,结合中科弘云HyperCN平台,通过深度融合华为UCM推理记忆数据管理技术及HyperCN平台能力,实现了智能算力的高效输送至业务一线。方案具备异构管理、算力调度、推理加速等核心优势,支持多元AI算力和主流框架,实现资源利用率最大化,并显著降低首Token时延,提升长序列推理吞吐与体验。

具体而言,该方案通过KVCache多级缓存管理、秒级算力调度、分钟级推理大模型部署及全流程AI工具链,覆盖数据管理标注、算法开发、大小模型训练推理、智能体开发等全流程,支持传统机器学习与深度学习开发,实现AI资产的统一建设与集中管理。在智能问答的典型推理场景中,首Token时延降低57.5%,长文档推理场景中,结合GSA稀疏加速算法,当序列长度为39K时,并发能力提升86%,推理吞吐提升36%。

目前,该联合方案已在能源电力、智能制造、国家实验室等关键行业启动试点应用,展现了其在实际业务中的高效性和实用性。

相关内容

热门资讯

华为携手五菱打造华境S旗舰车型... 5月8日晚间,上汽通用五菱与华为深化战略合作的首款旗舰车型——华境S正式上市并开启交付,超级置换价区...
华为技术加持!华境S全尺寸六座... 5月8日,华境S全尺寸大六座SUV正式上市,推出4款车型,官方指导价15.98-20.38万元,超级...
10万级纯电SUV新标杆!广汽... 5月8日,广汽丰田2026款铂智3X正式上市,提供3种续航7款配置,限时权益价9.48万-14.48...
2026年度“深圳惠民保”上线... 羊城晚报讯 记者沈婷婷报道:7日,2026年度“深圳惠民保”新闻发布会召开,这项由政府指导的普惠型商...
在时代洪流中锚定文明:羊城晚报... 日前,由羊城晚报社主编、羊城晚报出版社出版的《有风自南——岭南文脉的传承与思辨 文史哲岁集·2025...
五一南沙接待游客超212万人次... 文/羊城晚报全媒体记者 江皓轩 通讯员 刘超 罗瑞娴图/南宣提供刚过去的“五一”假期,广州南沙因为时...
@各位老细,请速来给广州法治化... 广州的营商环境好不好,企业和市民最有发言权。即日起,广州市优化法治化营商环境满意度调查问卷正式上线,...
“自由”每一天,枪“劫”美利坚... 近日,举办白宫记者协会晚宴的华盛顿希尔顿酒店发生枪击事件,包括美国总统特朗普在内,现场数百名记者和政...
创新驱动发展后劲足——“十五五... “十五五”规划纲要提出——全社会研发(R&D)经费投入年均增长7%以上全社会研发经费投入,是一个国家...
体验经济蓬勃发展 “五一”假期... 新华社上海5月6日电(记者陈爱平)今年劳动节假期,部分省市放春假提前预热“假日经济”,传统热门目的地...