腾讯混元发布超小模型HY-1.8B-2Bit:手机也能跑大语言模型
创始人
2026-02-10 12:33:41
0

今日,腾讯混元宣布推出一款面向消费级硬件场景的“极小”模型HY-1.8B-2Bit,该模型等效参数量仅为0.3B,内存占用仅600MB,相较于常用手机应用更为轻量。HY-1.8B-2Bit基于2比特量化感知训练(QAT)产出,相较于原始精度模型等效参数量降低6倍,同时在真实端侧设备上生成速度提升2—3倍,显著提升了使用体验。该模型继承了Hunyuan-1.8B-Instruct的全思考能力,能够灵活应对不同复杂性的任务,为用户提供简洁或详细的思维链。

腾讯混元通过数据优化、弹性拉伸量化以及训练策略创新三个方法来提升HY-1.8B-2Bit的全科能力。在部署方面,该模型提供了gguf-int2格式的模型权重与bf16伪量化权重,实际模型大小直降6倍,仅有300MB,适合端侧设备部署。HY-1.8B-2Bit已在Arm等计算平台上完成适配,可部署于启用ArmSME2技术的移动设备上,并实现高效运行。在MacBook M4芯片和天玑9500上的测试显示,该模型在首字时延和生成速度上均实现了显著加速。混元团队未来将重点转向强化学习与模型蒸馏等技术路径,以期进一步缩小低比特量化模型与全精度模型之间的能力差距。

相关内容

热门资讯

【发现最美铁路】50秒一车!为... 中国青年网通辽8月1日电 (记者 梁文艳)你见过列车行驶在“灯泡线”上吗?7月30日,“发现最美铁路...
增长8.3%!上半年我国服务进... 央视网消息:商务部8月4日发布的数据显示,今年上半年,我国服务进出口实现较快增长,知识密集型服务出口...
规范涉企执法 优化营商环境(“... “嘀——”“执法码”现场一扫,企业对检查事项、检查标准等一目了然。在浙江,“综合查一次”“亮证执法、...
视频 | 美国媒体人批评政府依... 美国知名媒体人法里德·扎卡里亚近日在美国有线电视新闻网的一档节目中表示,总统特朗普对关税的执念越来越...
瞭望 | 拉萨:一城烟火万家亲 围绕铸牢中华民族共同体意识这条主线,拉萨把民族团结的功夫下在每一座大院、每一条街巷,同心相守,石榴花...
Neon携手Castform打... 8月6日,Neon公司宣布与Castform公司合作,共同开发了一套针对检索模型的训练方案。Neon...
【视频】讲述粤剧“出海”史:华... 8月4日,“南国红豆 四海乡音”华侨华人与粤剧历史文化展在广州华侨博物馆开展。展览汇聚四家文博机构的...
从“要我合规”到“我要合规”,... 在揭阳市揭东区,如果问一家企业的老板,最近几年干得最值的一件事是什么,答案可能不是买了什么新设备,而...
泰国潮州会馆举办给阿嬷的情书专... 文/羊城晚报全媒体记者 王漫琪 刘泳希图/羊城晚报全媒体记者 蔡嘉鸿8月4日下午,泰国潮州会馆在曼谷...
孩童惊叹“水好清”、湖畔发现黑... 文/羊城晚报全媒体记者 江皓轩 通讯员 荔宣图/通讯员提供8月1日上午,30组亲子家庭从驷马涌、珠江...