PenguinSolutions发布11TB内存AI服务器，专为低延迟推理而生
创始人
2026-03-17 18:49:31
0次
3月16日，PenguinSolutions宣布推出业界首款采用CXL技术的量产型KVCache服务器。这款服务器综合了3TB的DDR5系统主内存和8个1TB的CXL内存AIC模块，为AI推理负载提供合计11TB的海量内存空间。PenguinSolutions指出，AI推理工作负载中，30%依赖于算力，而70%依赖于内存，这一比例与模型训练/调优有显著不同。此外，延迟表现对推理场景的用户使用体验影响重大。
MemoryAIKVCache服务器旨在为AI推理系统提供更低的延迟、更短的首Token响应时间、更高的吞吐量以及更高的XPU集群利用效率。这些特性使得服务器能够持续满足严苛的服务水平一致性要求，特别适合实时金融分析、海量数据集RAG、监管合规性分析等需求大窗口和低延迟的企业级任务。
相关内容
热门资讯
广汽华为联手打造“启境”品牌，...
3月17日，广汽集团携手华为乾崑共同发布了全新汽车品牌“启境”，并宣布品牌英文名为“AISTALAN...
七部门辟谣：AI安全治理三年行...
近日，中国互联网联合辟谣平台发布消息，针对自媒体传播的《七部门重磅发布AI安全治理三年行动计划》文章...
微信直连AI助手QClaw公测...
近日，腾讯内部人士透露，腾讯QClaw即将开启公测，并在3月18日发布全新版本。微信入口将全面升级，...
岚图泰山“黑武士版”上市！50...
今日下午，岚图泰山“黑武士版”正式上市，售价50.99万元，同时，售价45.99万的Ultra版开启...
PenguinSolution...
3月16日，PenguinSolutions宣布推出业界首款采用CXL技术的量产型KVCache服务...
【与你为邻】格鲁吉亚记者：一种...
格鲁吉亚财经记者桑德拉·阿尔尼什里·林首次到访中国新疆，便感受到一种“只存在于中国的爱”。落地仅数小...
【凝心聚力 真抓实干 奋力实现...
央视新闻客户端消息（新闻联播）：“十五五”规划纲要将“科技自立自强水平大幅提高”列为“十五五”时期经...
智慧春灌尽显“科技范” 助力农...
央视网消息：一年之计在于春，全国多地陆续进入春灌关键时节。记者从水利部了解到，目前，全国土壤墒情总体...
岚图泰山Ultra旗舰SUV量...
3月17日，岚图汽车CBO、销售公司总经理邵明峰在岚图泰山技术焕新发布会上宣布，全新一代896线激光...
特斯拉联手LG能源，美国本土电...
美国政府近日宣布，特斯拉已与韩国LG能源解决方案公司签订供应协议。根据协议，LG能源将在密歇根州兰辛...