英伟达Blackwell架构突破AI推理成本,效率提升10倍!
创始人
2026-02-13 14:33:59
0

2月13日,英伟达宣布其Blackwell架构在AI推理领域的“token经济学”取得重大进展。通过软硬件协同设计,Blackwell优化了硬件处理复杂AI推理负载的效率,有效解决了模型参数膨胀导致的算力成本激增问题。数据显示,Blackwell平台将单位Token生成成本降低至Hopper架构的十分之一。

Blackwell平台已吸引多家推理服务提供商,包括Baseten、DeepInfra、FireworksAI及TogetherAI等,开始利用该平台托管开源模型。这些企业结合开源智能模型、Blackwell硬件优势及自研优化推理栈,实现了跨行业成本缩减。例如,SentientLabs在多智能体工作流中成本效率提升了25%至50%;游戏领域的Latitude等公司也实现了更低延迟和更可靠响应。

Blackwell的核心优势在于其旗舰系统GB200NVL72,采用72个芯片互联配置,配备高达30TB高速共享内存,完美契合“混合专家”架构需求,高效拆分Token批次并行处理。在Blackwell取得成功的同时,英伟达正研发下一代“VeraRubin”平台,计划通过引入针对预填充阶段的CPX等专用机制,进一步提升基础设施效率。

相关内容

热门资讯

丰田130亿建印度三厂,目标年... 5月6日,丰田汽车宣布在印度西部马哈拉施特拉邦投资约3000亿日元(约合130亿元人民币)新建三座整...
Rivian拟自产激光雷达,C... 近日,美国电动汽车制造商Rivian的CEO RJ·斯卡林奇透露,公司正在考虑自行生产激光雷达传感器...
华为鸿蒙系统升级:小艺帮记新增... 5月6日,华为鸿蒙HarmonyOS 6.1系统对“小艺帮记”功能进行了更新,新增身份验证和同步收藏...
疲劳驾驶酿大祸!男子信辅助驾驶... 5月5日,杭甬高速宁波方向发生一起因驾驶员过度信任辅助驾驶系统而引发的违规停车事件。一辆黑色SUV在...
小米SU7销量破8万!限时权益... 5月6日,小米汽车宣布新一代SU7上市48天以来,锁单量已突破8万台。为庆祝这一成绩,小米汽车推出限...
F1将迎V8引擎回归,2030... 5月6日,国际汽联(FIA)主席穆罕默德·本·苏拉耶姆在迈阿密大奖赛期间宣布,F1计划在2030年左...
Meta被控盗用百万作品训练A... 5月5日,多家出版商联合起诉Meta Platforms,指控其非法使用受版权保护的书籍和期刊文章来...
中国联通车联网卡落地1亿辆汽车... 5月6日,中国联通宣布搭载其车联网卡的第1亿辆汽车正式落地,标志着我国建成全球规模最大的车联网连接基...
岚图董事长卢放:新能源车需创新... 5月6日,岚图汽车科技股份有限公司董事长卢放发表文章,探讨了品牌历史与未来的关系。卢放指出,在各地车...
华为ADS5领航辅助驾驶:10... 5月6日,华为公司高级副总裁、引望公司CEO靳玉志分享了自己使用华为乾崑智驾ADS5的出行体验。他从...