中国电信联合中科院等实现国产算力跨架构大模型推理技术突破
创始人
2025-12-12 21:42:00
0

今日,中国电信研究院联合中国科学院计算技术研究所、华为昇腾、沐曦等机构,在中国电信云网融合技术中试验证平台上,成功完成了业界首个面向国产算力的跨架构大模型推理技术验证。该技术攻关由中国电信研究院牵头,启动了“Triton统一跨架构推理框架”项目,通过自主研发的Triton跨架构编译器与统一大模型算子库,实现了算子源码在英伟达、昇腾、沐曦三类芯片上的无缝运行。

在本次技术验证中,已完成10余款主流开源模型在三类芯片上的端到端推理测试。核心指标表现优异,平均迁移时间不超过3天,效率较传统适配模式提升超过80%;精度误差控制在0.5%以内,确保了模型推理的可靠性;在同等延迟约束下,系统吞吐达到各芯片原生算子库的90%以上,实现了性能与适配效率的双重优化。框架还内置了benchmark与Profiling工具,能够一键生成跨芯片性能对比报告,为业务方提供选芯决策支撑。

相关内容

热门资讯

岭南文化大模型实验室主任邓立邦... 12月12日,2025年粤港澳大湾区人工智能与机器人产业大会“AIR+人才”论坛在广州举行。在本次论...
英伟达闭门峰会聚焦AI供电难题... 今日,英伟达计划于下周举办一场闭门峰会,聚焦数据中心供电瓶颈问题。此次会议将在英伟达位于加州圣克拉拉...
以下是一些改写“回应民生关切”... 回应民生关切是政府工作的重要使命。通过加强政策调研,精准把握民众需求,制定切实可行的举措。在教育方面...
吉利全球全域安全中心揭幕:投资... 12月12日,吉利全球全域安全中心正式对外发布。该中心总投资超过20亿元人民币,占地面积超过8万平方...
广州一商户窗边挂火焰LED屏引... 文、图/羊城晚报全媒体记者 郭思琦12月10日傍晚,广州市荔湾区岭南街一商户在二楼靠窗位置悬挂了仿真...
长安深蓝汽车增资61亿!累计交... 12月12日,长安汽车发布公告,其控股子公司深蓝汽车科技有限公司计划进行增资扩股,预计募资规模约为6...
门急诊流感病毒检出阳性率为54... 当前,正值呼吸道传染病高发季节,中国疾控中心12月11日公布的监测数据显示,12月1日—7日,门急诊...
【微光】残疾骑手的“最后100... 你可曾见过这样的场景——腿脚不便的残疾骑手在小区门口焦急下车,拎着外卖一瘸一拐冲向楼栋?每一秒的延迟...
广州花都数字农业直播大赛引领乡... 文/羊城晚报全媒体记者 冷霜 通讯员 刘文杰 古能文图/通讯员提供12月12日,花都区2025年数字...
以下是一些改写“回应民生关切”... 回应民生关切是政府工作的重要使命。通过加强政策调研,精准把握民众需求,制定切实可行的举措。在教育方面...