腾讯混元Stem算法突破:25%算力逼近稠密注意力精度!
创始人
2026-06-05 21:08:47
0

今日,腾讯混元宣布其提出的Stem稀疏注意力算法已被机器学习顶级会议ICML-26收录。Stem算法从因果信息流的角度重新审视块级稀疏,通过Token位置衰减(TPD)和输出感知度量(OAM)两大创新,在仅使用25%算力的情况下,接近稠密注意力的精度。这一成果不仅在理论上具有重要意义,而且通过配套的HPC算子库,将理论加速比转化为实际性能提升。

Stem算法在Hy3preview(W8A8-FP8)上的表现尤为突出,更贴近生产环境的真实落地数据。算法层面,Stem通过TPD和OAM实现在25%预算下的近无损精度;算子层面,HPC开源的Stem+BSA算子将稀疏收益转化为真实硬件加速,128K上下文中首字延迟降低3.6倍。这一全栈加速方案不仅提升了模型的效率,也为机器学习领域带来了新的研究方向和应用前景。

相关内容

热门资讯

华为云携手20余家厂商发布“百... 6月5日,华为云在华为云INSPIRE创想者大会上宣布了“百模千态,云聚共赢”生态合作计划,旨在与2...
东风日产NX8中型新能源SUV... 6月5日,东风日产宣布中型新能源SUV NX8自今年4月8日上市以来,累计锁单已超过1.1万台。NX...
快手可灵AI用户破亿,企业客户... 今日,快手旗下可灵AI官方宣布,其全球用户数已突破1亿大关,企业客户接近5万。在过去一年中,可灵AI...
腾讯混元Stem算法突破:25... 今日,腾讯混元宣布其提出的Stem稀疏注意力算法已被机器学习顶级会议ICML-26收录。Stem算法...
2026年起新能源车购置税减半... 6月5日,新能源汽车税收政策迎来重大调整。自2026年起,新能源汽车将不再享受全额免征车辆购置税的优...
“电车尺寸激增,停车难题如何破... 近日,随着新能源汽车的普及,停车难问题日益凸显。新能源汽车相较于传统燃油车尺寸更大,尤其是宽度,导致...
本田销量连续暴跌,电动化转型迫... 近日,本田中国发布了5月产销快报,显示5月新车销量为2.83万辆,同比下滑48.7%,连续两个月销量...
长城高山7底盘加高30mm,新... 6月5日,长城汽车董事长魏建军透露,公司根据用户反馈,对高山7底盘进行了加高处理,离地间隙最小达到1...
2026年中国9系SUV市场同... 近日,中国9系旗舰SUV市场出现了同质化现象,近20款新车涌入市场,但设计和配置上却高度相似。202...
特斯拉小米车窗玻璃创新:1.1... 6月5日,特斯拉副总裁陶琳就车窗玻璃的安全性和创新性进行了科普。她指出,特斯拉工程师采用了化学钢化玻...