腾讯HPC-Ops开源!大模型推理性能突破,QPM提升30%
创始人
2026-02-04 19:51:14
0

今日,腾讯混元AIInfra团队宣布推出开源生产级高性能LLM推理核心算子库HPC-Ops。该算子库基于生产环境痛点,采用CUDA和CuTe从零构建,通过抽象化工程架构、微架构深度适配及指令级极致优化等,降低底层算子开发门槛,将核心算子性能逼近硬件峰值,实现了性能突破。

在真实场景下,基于HPC-Ops,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。同时,在单算子性能方面,HPC-Ops实现Attention相比FlashInfer/FlashAttention最高提升2.22倍;GroupGEMM相比DeepGEMM最高提升1.88倍;FusedMoE相比TensorRT-LLM最高提升1.49倍。未来,HPC-Ops将持续深耕大模型推理性能的突破方向,包括重点研发稀疏Attention算子,拓展更丰富的量化策略,以及布局计算-通信协同优化的内核,为超大规模大模型的高效部署提供底层支撑。

相关内容

热门资讯

“天仪空间科技启动IPO:从科... 2月3日,证监会公示系统显示,商业卫星公司天仪空间科技股份有限公司(原“天仪研究院”)已启动IPO辅...
AI新突破!面壁智能开源全模态... 今日(2月4日),面壁智能宣布开源新一代全模态旗舰模型MiniCPM-o4.5。这款模型以其“边看、...
小米汽车OTA升级:辅助驾驶优... 2月4日,小米汽车官方宣布,小米SU7、小米SU7Ultra、小米YU7的最新OTA1.12.0版本...
多省份将有大到暴雪、大暴雪!春... 2月4日是中国传统二十四节气中的第一个节气——立春,全国大多地区气温继续升高,江南大部温暖如春。但自...
让违法驾驶人当“志愿者”参与劝... 为营造干净、整洁、有序的城区道路交通环境,持续加强道路交通秩序综合治理,2月4日,广州市荔湾区在中山...
珠江红船母港迁移至广州塔码头 2月3日,“十载红船传粤韵,百年船说再启航”珠江红船运营十周年暨母港迁移活动在红船上举行。活动回顾了...
外交部回应日本首相扬言将自卫队... 新华社北京2月4日电(记者温馨、朱超)日本首相高市早苗近日在演讲时声称有意将自卫队写入宪法。对此,外...
广东电影市场喜迎开门红,八大新... 2026年新春伊始,广东电影市场奏响昂扬序曲,据统计,截至发稿时全省电影票房已突破3亿元大关,占全国...
【骐骥迎新】漫评丨适老化服务让... 春潮涌动处,团圆启程时。2026年春运大幕开启,亿万归心似箭的旅客收拾行囊向着家的方向迈进。其中,银...
比亚迪方程豹“镁9”轿车谍照曝... 近日,比亚迪旗下子品牌方程豹汽车首款轿车谍照曝光,标志着该品牌正式进军新能源轿车领域。新车外观设计采...