英伟达Blackwell架构突破AI推理成本,效率提升10倍!
创始人
2026-02-13 14:33:59
0

2月13日,英伟达宣布其Blackwell架构在AI推理领域的“token经济学”取得重大进展。通过软硬件协同设计,Blackwell优化了硬件处理复杂AI推理负载的效率,有效解决了模型参数膨胀导致的算力成本激增问题。数据显示,Blackwell平台将单位Token生成成本降低至Hopper架构的十分之一。

Blackwell平台已吸引多家推理服务提供商,包括Baseten、DeepInfra、FireworksAI及TogetherAI等,开始利用该平台托管开源模型。这些企业结合开源智能模型、Blackwell硬件优势及自研优化推理栈,实现了跨行业成本缩减。例如,SentientLabs在多智能体工作流中成本效率提升了25%至50%;游戏领域的Latitude等公司也实现了更低延迟和更可靠响应。

Blackwell的核心优势在于其旗舰系统GB200NVL72,采用72个芯片互联配置,配备高达30TB高速共享内存,完美契合“混合专家”架构需求,高效拆分Token批次并行处理。在Blackwell取得成功的同时,英伟达正研发下一代“VeraRubin”平台,计划通过引入针对预填充阶段的CPX等专用机制,进一步提升基础设施效率。

相关内容

热门资讯

湾有引力!200余名海内外硕博... 文/羊城晚报全媒体记者 周聪8月4日下午,“湾有引力・粤聚英才”2026年硕博学子研学走进湾区第三期...
南沙科创产业园两年营收超300... 文/羊城晚报全媒体记者 江皓轩 通讯员 罗瑞娴图/罗仲贤 罗瑞娴从开园至今,广州南沙越秀iPARK粤...
我国加快构建绿色低碳电力供给格... 央视新闻客户端消息(新闻联播):《新型电力系统建设“十五五”规划》今天(8月3日)发布,规划提出,到...
焦点访谈 20260804 开... 央视网消息(焦点访谈):习近平总书记指出:“科技创新和产业创新,是发展新质生产力的基本路径。”今年上...
第三届海峡两岸(广州)青少年体... 文/羊城晚报全媒体记者 高焓 通讯员 穗台宣图/通讯员供图8月4日,第三届海峡两岸(广州)青少年体育...
树立和践行正确政绩观丨惠民生促... 树立和践行正确政绩观学习教育开展以来,陕西西安、甘肃定西坚持以学促干,将学习教育与惠民生、促发展紧密...
视频丨绿色智能船舶密集交付 拉... 今年上半年,我国海船新接订单量、完工量、手持订单量继续保持全球领先地位。在福建连江,一批高端智能、绿...
视频丨入境游提质升级 烟火中国... 今年暑期,中国入境游热度持续走高。越来越多外国游客不再局限于传统热门都市地标,纷纷深入中国县域小城、...
外媒观察丨“中国无法替代”正成... 中国网8月4日讯(记者 李智)在曼谷南部一片尘土飞扬的土地上,坐落着一座手电筒工厂。工人们伏在工作台...
CGTN民调丨日本情报集权落地... △日本首相官邸(资料图)7月31日,日本“国家情报局”正式成立。情报集权向来都是军事扩张的先导,日本...