华为携手中科弘云发布AI推理加速方案,首Token时延降低57.5%
创始人
2025-12-23 17:06:42
0

今日,华为数据存储与中科弘云联合发布了AI推理加速解决方案,旨在优化长序列推理体验。该方案以华为OceanStorA系列存储为基础,结合中科弘云HyperCN平台,通过深度融合华为UCM推理记忆数据管理技术及HyperCN平台能力,实现了智能算力的高效输送至业务一线。方案具备异构管理、算力调度、推理加速等核心优势,支持多元AI算力和主流框架,实现资源利用率最大化,并显著降低首Token时延,提升长序列推理吞吐与体验。

具体而言,该方案通过KVCache多级缓存管理、秒级算力调度、分钟级推理大模型部署及全流程AI工具链,覆盖数据管理标注、算法开发、大小模型训练推理、智能体开发等全流程,支持传统机器学习与深度学习开发,实现AI资产的统一建设与集中管理。在智能问答的典型推理场景中,首Token时延降低57.5%,长文档推理场景中,结合GSA稀疏加速算法,当序列长度为39K时,并发能力提升86%,推理吞吐提升36%。

目前,该联合方案已在能源电力、智能制造、国家实验室等关键行业启动试点应用,展现了其在实际业务中的高效性和实用性。

相关内容

热门资讯

福特林肯AI助手上线,手机问车... 今日,福特和林肯品牌的车型开始引入一款AI助手,该助手能够回答车主关于车辆性能、保养需求等方面的问题...
中国电动车即将登陆美国市场,福... 近日,美国汽车媒体发起的一项调查显示,超过3000份回复中,约五分之一受访者认为中国电动车永远不会进...
九号公司上半年营收增长22%,... 九号公司发布2026年半年度报告,上半年营业收入143.58亿元,同比增长22.28%,净利润10....
Meta发布300亿参数AI模... 今日,Meta发布了一款名为MuseGlimmer的人工智能模型,并在Apache2.0许可协议下开...
电动车涉水后爆炸警示:湖北宜昌... 近日,湖北宜昌发生一起电动车电池进水引发的爆燃事故。一名男子在暴雨中骑行电动车,电池被积水浸泡。回家...
阿维塔副总裁雍军:与华为合作非... 近日,阿维塔副总裁雍军在讨论与华为合作时表示,阿维塔并不认为与华为的合作模式是“必要项”。这一表述被...
日本三巨头车企财报亮眼:丰田本... 近日,日本三大车企丰田、本田和日产公布了2027财年第一季度的业绩,均显示出明显的改善。丰田和本田得...
日本NEC联手UrbanCha... 8月10日,日本电气(NEC)与UrbanChain合作开发了一套基于AI图像识别的停车计费系统,该...
广汽GOVYAirCab飞行汽... 今日,广汽高域宣布其首款量产型多旋翼飞行汽车GOVYAirCab在甘肃民勤完成了超过3个月的夏季测试...
国产AI大模型强势崛起,阿里q... 8月10日,Arena平台发布了2026年第32周AI大模型盲测排名,本周见证了多款新模型的上榜。国...