12月3日,科技媒体Wccftech报道,英伟达在混合专家(MoE)模型上取得了重大性能突破。GB200NVL72AI服务器在基于开源大语言模型的测试中,相比上一代HopperHGX200性能提升了10倍。混合专家模型是一种高效的AI大模型架构,通过激活一小部分最相关的参数子集来解决问题,显著降低计算成本并提高处理速度。
英伟达采用“协同设计”策略,整合了GB200的72芯片配置、30TB快速共享内存、第二代Transformer引擎和第五代NVLink高速互联技术,实现了专家并行计算的新水平。此外,英伟达还实施了全栈优化措施,如NVIDIADynamo框架和NVFP4数据格式,进一步提升MoE模型的推理性能。
此次性能突破对英伟达及其合作伙伴具有重要意义,成功克服了MoE模型扩展时的计算瓶颈,满足了AI算力需求的增长,并巩固了英伟达在AI服务器市场的领先地位。


