今日，腾讯混元宣布Hy3模型上线并开源，社区对此量化版本呼声高涨。Hy3是一个拥有295B参数的旗舰模型，展现出超越同尺寸模型的智能水平，并与更大尺寸旗舰模型效果相当，提升了在各类产品和生产力任务中的实用价值。然而，其BF16权重接近600GB，通常需要多卡服务器部署。

针对社区需求，腾讯混元将Hy3的权重量化到1bit与4bit，并打包成GGUF格式，配合网页链接生态，使得原本只能在多卡集群上运行的模型，现在至少一张推理显卡、乃至内存充足的本地机器也能运行。1bit极限量化版本IQ1_M将权重从598GB压缩至85.5GiB，缩小了6.7倍，使得96GB的推理显卡也能部署。4bit量化版本Q4_K_M体积为169.9GiB，两张推理显卡即可承载，更接近满血模型效果。

此外，Hy3的量化版本在输出分布上与原始模型保持高度一致，尤其在4bit版本上表现突出。在实际任务中，无论是Agent能力、多语言代码、工具调用还是长文理解，成绩都接近满血模型。1bit版本虽然压缩至1bit，但在主流任务上依然表现稳健，长文理解几乎与原始模型持平，Agent与代码方向也保持良好。MTP加速解码技术的应用进一步提升了Hy3的解码速度和交互体验。