腾讯HPC-Ops开源!大模型推理性能突破,QPM提升30%
创始人
2026-02-04 19:51:14
0

今日,腾讯混元AIInfra团队宣布推出开源生产级高性能LLM推理核心算子库HPC-Ops。该算子库基于生产环境痛点,采用CUDA和CuTe从零构建,通过抽象化工程架构、微架构深度适配及指令级极致优化等,降低底层算子开发门槛,将核心算子性能逼近硬件峰值,实现了性能突破。

在真实场景下,基于HPC-Ops,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。同时,在单算子性能方面,HPC-Ops实现Attention相比FlashInfer/FlashAttention最高提升2.22倍;GroupGEMM相比DeepGEMM最高提升1.88倍;FusedMoE相比TensorRT-LLM最高提升1.49倍。未来,HPC-Ops将持续深耕大模型推理性能的突破方向,包括重点研发稀疏Attention算子,拓展更丰富的量化策略,以及布局计算-通信协同优化的内核,为超大规模大模型的高效部署提供底层支撑。

相关内容

热门资讯

探访牛河梁国家考古遗址公园 ↑参观者在牛河梁遗址博物馆内参观(8月4日摄)。新华社记者 李贺 摄牛河梁国家考古遗址公园依托牛河梁...
比亚迪海豹06新色亮相,202... 今日,比亚迪汽车海洋网销售事业部总经理张卓发布了2027款海豹06全新车色官图,新色命名尚未公布。同...
深圳3D打印产业不断实现高效生... 48.5%上半年,我国数字产品制造业增势强劲,3D打印设备产品产量同比增长48.5%。喷头缓缓移动,...
广东2026年高招专科批投档结... 羊城晚报全媒体记者 郭子扬 孙唯8月5日,广东省2026年普通高校招生专科批次录取结果出炉。据广东省...
57岁保洁阿姨花5万元整形 术... 记者调查发现多个疑点,警方已介入6月19日,57岁的郑大姐(化名)来到广州艾尚美医疗美容门诊部有限公...
大众高尔夫混动版西班牙上市,2... 今日,大众高尔夫混动版在西班牙市场正式上市,提供Style和R-Line两种版本,起售价为35,80...
广东重拳整治养老领域虚假宣传 ... 羊城晚报讯 记者吴珊、通讯员粤市监报道:8月5日,由广东省市场监督管理局主办的“全省养老服务领域监管...
深度观察 | 承接大湾区厨艺顶... 优良的生态禀赋、厚重的客家饮食文化,是河源深耕粤菜产业、赋能美食创新发展的核心底气,也是河源吸引第七...
名厨、食材均已就位!揭秘粤菜师... 备受关注的第七届粤港澳大湾区“粤菜师傅”职业技能大赛将于8月6日正式开赛。8月5日,参赛的湾区厨师们...
Meta AI模型意外入侵企业... 8月7日,Meta公司在网络安全测试中发生一起AI模型入侵事件。据透露,由于Meta委托的网络安全评...