今日,腾讯混元宣布推出一款面向消费级硬件场景的“极小”模型HY-1.8B-2Bit,该模型等效参数量仅为0.3B,内存占用仅600MB,相较于常用手机应用更为轻量。HY-1.8B-2Bit基于2比特量化感知训练(QAT)产出,相较于原始精度模型等效参数量降低6倍,同时在真实端侧设备上生成速度提升2—3倍,显著提升了使用体验。该模型继承了Hunyuan-1.8B-Instruct的全思考能力,能够灵活应对不同复杂性的任务,为用户提供简洁或详细的思维链。
腾讯混元通过数据优化、弹性拉伸量化以及训练策略创新三个方法来提升HY-1.8B-2Bit的全科能力。在部署方面,该模型提供了gguf-int2格式的模型权重与bf16伪量化权重,实际模型大小直降6倍,仅有300MB,适合端侧设备部署。HY-1.8B-2Bit已在Arm等计算平台上完成适配,可部署于启用ArmSME2技术的移动设备上,并实现高效运行。在MacBook M4芯片和天玑9500上的测试显示,该模型在首字时延和生成速度上均实现了显著加速。混元团队未来将重点转向强化学习与模型蒸馏等技术路径,以期进一步缩小低比特量化模型与全精度模型之间的能力差距。


