腾讯混元发布超小模型HY-1.8B-2Bit:手机也能跑大语言模型
创始人
2026-02-10 12:33:41
0

今日,腾讯混元宣布推出一款面向消费级硬件场景的“极小”模型HY-1.8B-2Bit,该模型等效参数量仅为0.3B,内存占用仅600MB,相较于常用手机应用更为轻量。HY-1.8B-2Bit基于2比特量化感知训练(QAT)产出,相较于原始精度模型等效参数量降低6倍,同时在真实端侧设备上生成速度提升2—3倍,显著提升了使用体验。该模型继承了Hunyuan-1.8B-Instruct的全思考能力,能够灵活应对不同复杂性的任务,为用户提供简洁或详细的思维链。

腾讯混元通过数据优化、弹性拉伸量化以及训练策略创新三个方法来提升HY-1.8B-2Bit的全科能力。在部署方面,该模型提供了gguf-int2格式的模型权重与bf16伪量化权重,实际模型大小直降6倍,仅有300MB,适合端侧设备部署。HY-1.8B-2Bit已在Arm等计算平台上完成适配,可部署于启用ArmSME2技术的移动设备上,并实现高效运行。在MacBook M4芯片和天玑9500上的测试显示,该模型在首字时延和生成速度上均实现了显著加速。混元团队未来将重点转向强化学习与模型蒸馏等技术路径,以期进一步缩小低比特量化模型与全精度模型之间的能力差距。

相关内容

热门资讯

九号Mz1新国标电动车5月20... 今日,九号电动宣布将于5月20日发布新款国标电动车九号Mz1。这款新车型采用全新底盘架构,配备高强钢...
谷歌推AI新订阅“UltraL... 近日,科技媒体9to5Google报道,谷歌正在开发名为“Neon”的GeminiAI新订阅层级,暂...
谷歌AI新突破:Remy智能体... 5月6日,谷歌正在开发一款名为“Remy”的AI个人智能体,旨在代表用户自主执行各种操作。Remy基...
告别“专门学”,拥抱“随处见”... 文/图 羊城晚报全媒体记者 钱瑜在珠海,全省共享的“超级知识库”正化作一股清流,悄然流进人们的生活缝...
苹果公司宣布特纳斯将接替库克担... △约翰·特纳斯(资料图)当地时间4月20日,央视记者获悉,美国苹果公司宣布任命内部高管、长期负责硬件...
广州大岗镇防邪教主题公园变身科... 4月15日,一场以“统筹发展和安全・全民反邪教聚力护平安”为主题的全民国家安全教育日活动在广州市南沙...
全国首份AI开源生态共识在广州... 羊城晚报全媒体记者李焕坤,通讯员马卓尔、陈中山报道:4月20日,来自全国人工智能产业链的部分头部科技...
广州暹岗大山等地遭私挖水晶 专... 当地已组织对私挖造成的洞、沟等进行覆土回填,并恢复植被文/羊城晚报全媒体记者 马思泳图/网络图片近日...
纸上权利如何变成真金白银 知识... 羊城晚报全媒体记者 吴珊今年4月26日是第26个世界知识产权日。4月21日,广州召开了一场新闻发布会...
广州内环高架桥出现疑似裂缝 官... 羊城晚报讯 记者李海婵、严艺文摄影报道:“等车时一抬头,看到头顶高架桥底密密麻麻的裂缝,挺吓人的。”...