腾讯混元发布超小模型HY-1.8B-2Bit:手机也能跑大语言模型
创始人
2026-02-10 12:33:41
0

今日,腾讯混元宣布推出一款面向消费级硬件场景的“极小”模型HY-1.8B-2Bit,该模型等效参数量仅为0.3B,内存占用仅600MB,相较于常用手机应用更为轻量。HY-1.8B-2Bit基于2比特量化感知训练(QAT)产出,相较于原始精度模型等效参数量降低6倍,同时在真实端侧设备上生成速度提升2—3倍,显著提升了使用体验。该模型继承了Hunyuan-1.8B-Instruct的全思考能力,能够灵活应对不同复杂性的任务,为用户提供简洁或详细的思维链。

腾讯混元通过数据优化、弹性拉伸量化以及训练策略创新三个方法来提升HY-1.8B-2Bit的全科能力。在部署方面,该模型提供了gguf-int2格式的模型权重与bf16伪量化权重,实际模型大小直降6倍,仅有300MB,适合端侧设备部署。HY-1.8B-2Bit已在Arm等计算平台上完成适配,可部署于启用ArmSME2技术的移动设备上,并实现高效运行。在MacBook M4芯片和天玑9500上的测试显示,该模型在首字时延和生成速度上均实现了显著加速。混元团队未来将重点转向强化学习与模型蒸馏等技术路径,以期进一步缩小低比特量化模型与全精度模型之间的能力差距。

相关内容

热门资讯

“续航破千!新款腾势Z9/Z9... 近日,新款腾势Z9及腾势Z9GT的申报信息曝光,两款车型均换装全新规格电池组,纯电续航迎来大幅提升。...
因地制宜发展新质生产力|科技赋... 新华社郑州2月9日电题:科技赋能 文化打底——古都洛阳何以成文旅“顶流”?新华社记者韩朝阳洛邑古城的...
新春走基层丨短剧变“农具”,3... 短剧变“农具”,3.2亿流量带火乡村土特产65岁的赵美霞没想到,有一天会成为乡亲们口中的“大明星”。...
字节Seedream5.0升级... 今日,字节跳动的图像生成模型Seedream5.0在多个平台上线,包括剪映、剪映海外版Capcut和...
鸿蒙智行V9亮相:37/53度... 2月10日,工信部最新新能源汽车购置税减免名录中,鸿蒙智行首款MPV智界V9的电池信息公布。智界V9...
阿维塔12内饰升级,豪华中大型... 2月10日,阿维塔发布了新款阿维塔12的内饰官图,针对新能源汽车的痛点问题进行了优化。新车内饰延续环...
广州科学家从月壤样本中分析出了... 2024年,我国嫦娥六号在人类历史上首次实现月球背面采样返回。此后,中国科学院广州地球化学研究所(下...
极氪8X续航超300km,2.... 工信部最新发布的《减免车辆购置税的新能源汽车车型目录(第二十七批)》中,极氪品牌旗下全新中大型SUV...
华为赛力斯联手,问界M9发布,... 2月10日,华为与赛力斯合作的高端智慧汽车品牌问界(AITO)在深圳举办了星光之夜活动。华为常务董事...
武警广州支队开展“迎春送福进军... 金戈铁马守南粤,翰墨迎春暖军营。2月9日,武警广州支队营区张灯结彩、墨香四溢,支队特邀广东省楹联学会...