腾讯混元Stem算法突破:25%算力逼近稠密注意力精度!
创始人
2026-06-05 21:08:47
0

今日,腾讯混元宣布其提出的Stem稀疏注意力算法已被机器学习顶级会议ICML-26收录。Stem算法从因果信息流的角度重新审视块级稀疏,通过Token位置衰减(TPD)和输出感知度量(OAM)两大创新,在仅使用25%算力的情况下,接近稠密注意力的精度。这一成果不仅在理论上具有重要意义,而且通过配套的HPC算子库,将理论加速比转化为实际性能提升。

Stem算法在Hy3preview(W8A8-FP8)上的表现尤为突出,更贴近生产环境的真实落地数据。算法层面,Stem通过TPD和OAM实现在25%预算下的近无损精度;算子层面,HPC开源的Stem+BSA算子将稀疏收益转化为真实硬件加速,128K上下文中首字延迟降低3.6倍。这一全栈加速方案不仅提升了模型的效率,也为机器学习领域带来了新的研究方向和应用前景。

相关内容

热门资讯

小米澎程N90Max:纯平地板... 今日,小米汽车发布答网友问(第266集),针对其澎程系列新车的多项特性进行了详细解答。小米澎程N90...
哪吒汽车南宁基地设备流拍,降价... 8月2日,阿里司法拍卖平台信息显示,位于南宁市青秀区伶俐镇昌隆路88号的一批机械设备因无人出价而流拍...
比亚迪方程豹“钛9”即将亮相,... 8月2日,比亚迪方程豹品牌发布了新车“钛9”的预告视频,展示了新车的侧面剪影,并暗示“钛9不会等太久...
奥迪电动A2纽博格林赛道极限测... 8月2日,奥迪在纽博格林赛道对其微型电动掀背车A2进行了极限测试。据悉,奥迪计划于今年秋季发布202...
奇瑞汽车7月销量劲增24.1%... 8月2日,奇瑞汽车公布了2026年7月的销量数据,五大品牌总销量达到261,876辆,同比增长约24...
古力娜扎代言猛士M817,华为... 今日,猛士汽车宣布,演员古力娜扎成为全新猛士M817的代言人。娜扎以其在《玉茗茶骨》、《无与伦比的美...
比亚迪海豹06全新亮相:B级轿... 近日,比亚迪海豹06实车亮相,定位B级满配轿跑,外观大幅革新。新车延续海洋家族溜背轿跑造型,尺寸为4...
比亚迪7月销量大增20.5%,... 8月2日,比亚迪王朝网销售事业部总经理路天透露,比亚迪7月销量达到161148辆,同比增长20.5%...
长城汽车7月销量逆势增长,新能... 今日,长城汽车公布2026年7月产销快报。7月,长城汽车销售新车108067辆,同比增长3.54%;...
启元Q1机器人携手魔兽世界亮相... 8月2日,上纬新材料科技股份有限公司旗下品牌“启元机器人”宣布与暴雪娱乐的《魔兽世界》合作,推出活动...