华为携手中科弘云发布AI推理加速方案,首Token时延降低57.5%
创始人
2025-12-23 17:06:42
0

今日,华为数据存储与中科弘云联合发布了AI推理加速解决方案,旨在优化长序列推理体验。该方案以华为OceanStorA系列存储为基础,结合中科弘云HyperCN平台,通过深度融合华为UCM推理记忆数据管理技术及HyperCN平台能力,实现了智能算力的高效输送至业务一线。方案具备异构管理、算力调度、推理加速等核心优势,支持多元AI算力和主流框架,实现资源利用率最大化,并显著降低首Token时延,提升长序列推理吞吐与体验。

具体而言,该方案通过KVCache多级缓存管理、秒级算力调度、分钟级推理大模型部署及全流程AI工具链,覆盖数据管理标注、算法开发、大小模型训练推理、智能体开发等全流程,支持传统机器学习与深度学习开发,实现AI资产的统一建设与集中管理。在智能问答的典型推理场景中,首Token时延降低57.5%,长文档推理场景中,结合GSA稀疏加速算法,当序列长度为39K时,并发能力提升86%,推理吞吐提升36%。

目前,该联合方案已在能源电力、智能制造、国家实验室等关键行业启动试点应用,展现了其在实际业务中的高效性和实用性。

相关内容

热门资讯

梅西的父亲豪尔赫去世,终年68... 据报道,梅西的父亲豪尔赫・梅西于当地时间8月7日22时(北京时间8月8日9时),在阿根廷罗萨里奥疗养...
中企在吉实施灌溉工程、光伏发电... 日前,中国—吉尔吉斯斯坦媒体高质量共建“一带一路”联合采访团队走进吉尔吉斯斯坦伊塞克湖州和楚河州,采...
新疆女孩在天津偶遇了一个人,瞬... 8月6日,刚从天津返回新疆策勒县家中的热孜亚·阿卜来提,迫不及待地掏出手机,将相册里的照片一张张划给...
BGM一响,谁的DNA动了? “现在开始做广播体操——”这熟悉的旋律,是一代代中国人的运动记忆,更是一份跨越75年的健康答卷。新中...
年中经济观察丨服务实体经济 财... 今年中央财政安排1000亿元专项资金,推出财政金融协同促内需一揽子政策,统筹推进促消费与扩投资。上半...
上半年我国乡村特色产业全链升级 央视新闻客户端消息(新闻联播):今年上半年,我国乡村产业提质增效,随着新装备、新技术、新工艺的加快应...
全球瞭望|卢旺达媒体:高效的中... 新华社基加利8月7日电(记者刘佑民)卢旺达“非中评论”网站6日刊登评论文章指出,中国制造业的成功源自...
“张雪机车估值飙升60倍!高信... 近日,高信资本创始合伙人兼董事长曹斌透露,该公司在天使轮投资张雪机车2000万元,按最新一轮估值计算...
广东千亿投资撬动万亿蓝海 广州日报讯 (全媒体记者叶卡斯通讯员粤农轩)昨日,广东召开全省现代化海洋牧场全产业链建设视频会,深入...
一票难求!人气拉满!全民AI创... 光影落幕,创意不息!2026年8月6日,全民AI创作大赛广图线下专场分享会在广州图书馆2号报告厅圆满...