腾讯HPC-Ops开源!大模型推理性能突破,QPM提升30%
创始人
2026-02-04 19:51:14
0

今日,腾讯混元AIInfra团队宣布推出开源生产级高性能LLM推理核心算子库HPC-Ops。该算子库基于生产环境痛点,采用CUDA和CuTe从零构建,通过抽象化工程架构、微架构深度适配及指令级极致优化等,降低底层算子开发门槛,将核心算子性能逼近硬件峰值,实现了性能突破。

在真实场景下,基于HPC-Ops,混元模型推理QPM提升30%,DeepSeek模型QPM提升17%。同时,在单算子性能方面,HPC-Ops实现Attention相比FlashInfer/FlashAttention最高提升2.22倍;GroupGEMM相比DeepGEMM最高提升1.88倍;FusedMoE相比TensorRT-LLM最高提升1.49倍。未来,HPC-Ops将持续深耕大模型推理性能的突破方向,包括重点研发稀疏Attention算子,拓展更丰富的量化策略,以及布局计算-通信协同优化的内核,为超大规模大模型的高效部署提供底层支撑。

相关内容

热门资讯

年中经济观察丨去产地建工厂 “... 今年上半年,我国夏粮产量创历史新高,筑牢全年粮食丰产根基。现在,秋粮也陆续进入了产量形成的关键期。记...
打好政策“组合拳” 以优质消费... 新华社北京8月3日电 题:打好政策“组合拳” 以优质消费环境激发消费潜力新华社记者戴锦镕、魏玉坤随着...
AI音乐版权战升级!Suno平... 8月7日,科技媒体Engadget报道,Suno公司计划在其平台生成的AI音乐中添加隐藏式水印,以应...
借防卫之名推进军事化 日本学者... 日本防卫大臣小泉进次郎8月4日在内阁会议上就2026年版《防卫白皮书》作报告。这份白皮书继续渲染日本...
7.23万亿的含金量——从经济... 2026年作为“十五五”开局之年,面对复杂多变的内外宏观环境,广东牢牢锚定高质量发展首要任务,交出上...
灶台“硬通货”与“新奔头”,构... 8月6日,第七届粤港澳大湾区“粤菜师傅”职业技能大赛将在河源鸣锣开赛,173名粤港澳厨艺高手齐聚万绿...
山海计划短片你好,马莉莉入选广... 近日,广东发布国际传播500个年度案例 旨在向世界生动讲述中国式现代化的广东故事展示真实、立体、全面...
蔚来ET9将配备120度电池,... 8月7日,蔚来汽车在泉州的面对面活动中,公司创始人、董事长、CEO李斌针对ET9车型是否会配备更大电...
小米汽车内饰大揭秘:SU7、Y... 8月7日,小米汽车在其官方渠道更新了答网友问栏目,针对用户关心的内饰设计和SU7、YU7车型差异进行...
魏牌高山9申报成功,六座MPV... 8月7日,工信部发布第410批《道路机动车辆生产企业及产品公告》新产品公示,长城汽车魏牌旗下全新车型...