今日，蚂蚁百灵在HuggingFace平台发布了Ling-3.0-tiny模型，这是一个轻量级混合推理MoE架构，拥有7.9B的总参数量，每Token激活1.3B参数。该模型提供了BF16、FP8和INT4三种权重版本，以适应不同平台的部署需求。Ling-3.0-tiny专注于低成本推理，采用高效的混合线性架构，将KDA和MLA按照3:1的比例交替堆叠，并包含128个路由专家的稀疏MoE前馈网络，以平衡上下文处理能力和计算成本。

Ling-3.0-tiny模型支持快速响应模式和多步骤推理模式，专为本地部署而设计。官方已在英伟达DGXSpark、Apple Silicon MacBook和Mac mini等设备上进行了验证。在M1 Pro的MacBook上，该模型能够达到86-90 Token/s的推理速度，而在8K上下文长度下，峰值内存占用约为8.34GiB。这一模型的开源，为开发者提供了一个在不同设备上实现高效推理的新选择。