华为携手中科弘云发布AI推理加速方案,首Token时延降低57.5%
创始人
2025-12-23 17:06:42
0

今日,华为数据存储与中科弘云联合发布了AI推理加速解决方案,旨在优化长序列推理体验。该方案以华为OceanStorA系列存储为基础,结合中科弘云HyperCN平台,通过深度融合华为UCM推理记忆数据管理技术及HyperCN平台能力,实现了智能算力的高效输送至业务一线。方案具备异构管理、算力调度、推理加速等核心优势,支持多元AI算力和主流框架,实现资源利用率最大化,并显著降低首Token时延,提升长序列推理吞吐与体验。

具体而言,该方案通过KVCache多级缓存管理、秒级算力调度、分钟级推理大模型部署及全流程AI工具链,覆盖数据管理标注、算法开发、大小模型训练推理、智能体开发等全流程,支持传统机器学习与深度学习开发,实现AI资产的统一建设与集中管理。在智能问答的典型推理场景中,首Token时延降低57.5%,长文档推理场景中,结合GSA稀疏加速算法,当序列长度为39K时,并发能力提升86%,推理吞吐提升36%。

目前,该联合方案已在能源电力、智能制造、国家实验室等关键行业启动试点应用,展现了其在实际业务中的高效性和实用性。

相关内容

热门资讯

魏牌9年换8帅,长城汽车董事长... 12月21日,长城汽车旗下魏牌宣布赵永坡成为新任CEO,这是该品牌成立9年来的第8次CEO更迭。赵永...
小鹏X9纯电版升级:续航突破7... 近日,新款小鹏X9纯电版车型的申报图及相关信息曝光。该车型将配备中创新航的三元锂电池,提供710km...
好评中国丨“情绪经济”焕新,为... 编者按:韧性,是读懂2025年中国经济的关键词。 宏观承压之下,一系列“新消费”现象展现出澎湃的内需...
百万大奖点燃激情,电竞粤超全力... 奖池总奖金超一百万元,周边满载岭南元素,线下比赛覆盖广东全域21地市……12月23日,备受瞩目的广东...
日本政界人士:高市错误言论动摇... 针对日本首相高市早苗日前发表的涉台错误言论,一些日本政界人士表示强烈不满和批评。日本参议院议员、日本...
以下是一些改写“回应民生关切”... 回应民生关切是政府工作的重要使命。通过加强政策调研,精准把握民众需求,制定切实可行的举措。在教育方面...
成都问界销量夺冠,全国TOP2... 今日,汽车博主“新渠道李霸天”发布了2025年11月问界汽车销量TOP20城市榜单。当月问界全国总销...
阿里通义发布新一代语音交互模型... 今日,阿里巴巴集团旗下的阿里通义大模型发布了新一代端到端语音交互模型Fun-Audio-Chat。该...
上汽集团股权调整:智己汽车股权... 12月23日,上汽集团宣布将简化对智己汽车的持股结构,计划将通过元界基金持有的智己汽车股份变更为直接...
吉利星愿销量破50万,2026... 今日,吉利汽车官方宣布,吉利星愿累计交付量突破500000辆,成为2025年全品类车型销量冠军。吉利...