中国电信联合中科院等实现国产算力跨架构大模型推理技术突破
创始人
2025-12-12 21:42:00
0次
今日,中国电信研究院联合中国科学院计算技术研究所、华为昇腾、沐曦等机构,在中国电信云网融合技术中试验证平台上,成功完成了业界首个面向国产算力的跨架构大模型推理技术验证。该技术攻关由中国电信研究院牵头,启动了“Triton统一跨架构推理框架”项目,通过自主研发的Triton跨架构编译器与统一大模型算子库,实现了算子源码在英伟达、昇腾、沐曦三类芯片上的无缝运行。
在本次技术验证中,已完成10余款主流开源模型在三类芯片上的端到端推理测试。核心指标表现优异,平均迁移时间不超过3天,效率较传统适配模式提升超过80%;精度误差控制在0.5%以内,确保了模型推理的可靠性;在同等延迟约束下,系统吞吐达到各芯片原生算子库的90%以上,实现了性能与适配效率的双重优化。框架还内置了benchmark与Profiling工具,能够一键生成跨芯片性能对比报告,为业务方提供选芯决策支撑。
相关内容