PenguinSolutions发布11TB内存AI服务器，专为低延迟推理而生
创始人
2026-03-17 18:49:31
0次
3月16日，PenguinSolutions宣布推出业界首款采用CXL技术的量产型KVCache服务器。这款服务器综合了3TB的DDR5系统主内存和8个1TB的CXL内存AIC模块，为AI推理负载提供合计11TB的海量内存空间。PenguinSolutions指出，AI推理工作负载中，30%依赖于算力，而70%依赖于内存，这一比例与模型训练/调优有显著不同。此外，延迟表现对推理场景的用户使用体验影响重大。
MemoryAIKVCache服务器旨在为AI推理系统提供更低的延迟、更短的首Token响应时间、更高的吞吐量以及更高的XPU集群利用效率。这些特性使得服务器能够持续满足严苛的服务水平一致性要求，特别适合实时金融分析、海量数据集RAG、监管合规性分析等需求大窗口和低延迟的企业级任务。
相关内容
热门资讯
半小时就能配齐一台机器人，深圳...
编者按：健康完备的经济生态，是推动高质量发展的重要保障。即日起，南方日报、南方+推出“解码广东经济生...
护航开学季，河源海事多措并举保...
金秋九月，新学期如期开启。为有效应对开学季学生水路返程高峰，切实防范化解水上交通安全风险，保障辖区学...
2026广马来了！9月2日10...
广州马拉松赛组委会今日（9月1日）发布消息，2026广州马拉松赛将于9月2日10点开启报名。记者了解...
救援，救援！再难也要继续
在吉隆口岸核心受灾区搜救队伍度过了风雨交加的一晚队员们为应对可能突然而至的泥石流只能穿衣而眠天亮之后...
新华视点｜深耕特色产业 激活乡...
近年来，各地立足资源禀赋，因地制宜发展特色种养、农光互补等乡村产业。通过建好基地、延伸链条、带动就近...
潮涌湾区，文通四海 第六届粤港...
羊城晚报全媒体记者梁善茵、熊安娜、李娇娇、阎回、谢婉莹报道：由广东省作家协会主办的第六届粤港澳大湾区...
净环境、畅通行、排隐患！广州城...
9月1日，广州中小学、幼儿园迎来秋季新学期。开学前夕，广州市城市管理和综合执法局统筹各区城管部门，聚...
高端访谈｜愿同中国持续巩固永久...
新华社比什凯克9月1日电 高端访谈｜愿同中国持续巩固永久全面战略伙伴关系——访哈萨克斯坦总统托卡耶夫...
西藏吉隆：巡逻在撤离村庄的党员...
8月26日上午，因尼泊尔一侧发生泥石流灾害，造成我方一侧通往吉隆口岸的道路、通信、电力中断。西藏吉隆...
一颗“粤芯”，如何撬动大湾区集...
8月28日，粤芯半导体技术股份有限公司（下称“粤芯半导体”）取得中国证监会IPO注册批文，成为创业板...