2月24日,AI芯片企业SambaNova宣布推出其第五代RDU可重构数据流单元AI芯片,该芯片及其基于的SambaRack SN50风冷机架系统专为智能体推理工作负载设计,以超低延迟、高吞吐量和节能为特点,性能是上一代产品的5倍。SambaNova SN50采用大容量内存、HBM和SRAM的三层次存储结构,有效优化了时延表现。在Llama3.370B上,其最大速度是英伟达B200 GPU的5倍,智能体推理吞吐量是后者的三倍以上;对于OpenAIGPT-OSS-120B,其能效可达B200的8倍。
软银将在日本的下一代AI数据中心率先部署SN50芯片。SambaNova还与英特尔达成了一项多年期长期合作,围绕AI推理解决方案展开。英特尔资本在内的投资者参与了SambaNova的3.5亿美元E轮融资。
