CXL存储器扩充模组即将大爆发
* 来源 : * 作者 : admin * 发表时间 : 2023-09-15
用于为服务器扩展存储器资源的CXL存储器扩充模组,是CXL应用最基础的周边元件,今年下半已有众多厂商投入推出产品,可望成为第一波进入用户环境的CXL应用主力
而在这2项技术中,扩展存储器在单机环境便能实现,技术更简易,应用架构也更为单纯,因而发展也更为成熟。相较之下,存储器池必须仰赖跨服务器互连,才能实现。
另一方面,在共享存储器与存储器池应用环境,扩展存储器也能派上用场,能为存储器池提供更多可用的存储器资源,因而扩展存储器也能视为CXL应用的起步或初阶。
而CXL的扩展存储器应用,则是透过CXL存储器扩充模组来实现。
过去2年,有多家厂商发表用于扩展服务器存储器的CXL存储器扩充模组,包括,存储器大厂如三星、SK Hynix与美光,Astera Labs等新创厂商,同时,还有中国台湾的世迈科技(SMART Modular Technologies),将进入实际上市阶段。
CXL存储器扩充模组属于CXL应用型态的Type 3类型,主要目的是将CXL存储器扩充模组内含的存储器资源,提供服务器CPU使用,也就是由周边装置单向提供存储器资源给CPU。
而服务器CPU则能藉此摆脱主机板存储器DIMM插槽的限制,从CXL存储器扩充卡获得额外的存储器频宽与容量,通常可以额外扩充40、50%以上的存储器频宽与容量,效益十分显著。
CXL存储器扩充模组的2大主流类型
目前的CXL存储器扩充模组产品有2大主流类型,一为采用E3.S模组规格,另一为基于AIC附加板卡规格。
CXL存储器扩充产品发展历程
我们所知最早的CXL存储器扩充模组产品,是三星2021年5月发表的CXL存储器扩充模组,当时称作CXL存储器扩展器(CXL Memory Expander),采用E3.S外形规格,内含128GB容量的DDR5存储器。
接着在2021年12月举行的SC 21大会,出现了一波CXL存储器扩充卡风潮,当时Meta、三星、中国的晶片设计商Montage Technology(澜起科技),都展出了CXL存储器扩充模组产品或解决方案。
作为社群网站龙头的Meta,以及中国厂商澜起科技,展出的是PCIe卡版形式的CXL存储器卡。
Meta采用的CXL存储器卡内建64GB DDR5存储器,可在Linux系统环境下,透过CXL 2.0协定连结Intel第四代Xeon Scalable处理器(Sapphire Rapids),将CXL存储器卡内含的存储器,映射为服务器主机CPU可以使用的系统存储器。
Montage Technology展出POC原型,以 FPGA加速卡打造的CXL存储器扩充卡,内含16 GB存储器,可支援CXL.io与CXLmem协定,藉此让CPU存取扩充卡上的存储器。
至于三星,展出整合CXL存储器扩充装置的SAP HANA存储器资料库平台,可以透过CXL本身提供的扩充存储器,大幅增加SAP HANA存储器资料库可用的存储器资源,这也是我们所知最早的CXL存储器扩充应用解决方案展示。
其他厂商多半只是展示服务器主机可以识别与抓取CXL存储器扩充装置上的DRAM容量而已,三星更进一步,将他们的CXL存储器扩充装置整合到资料库应用平台运作。
到了2020年,又有更多厂商投入这个领域。行动最积极的仍是三星,先是在5月发表升级版的CXL存储器扩充模组,最大容量提高4倍达到512GB,存取延迟也减少80%。接着在8月的FMS 2022大会,展出兼具NVMe SSD与CXL存储器扩充模组双重功能的特殊产品,名为Memory-Semantic SSD。
另一存储器大厂SK Hynix也在8月,跟进发表了CXL存储器扩充模组产品,称作CXL 2.0存储器装置(CXL 2.0 Memory),外形采用E3.S规格,每组可提供96 GB存储器。
CXL存储器扩充模组的应用模式
CXL存储器扩充模组的基本目的,是让CPU在既有的DIMM之外,获得额外的存储器频宽与容量。以上图为例,单一CPU原本最多只能配置8个DIMM存储器通道,而透过CXL技术,则能另外透过PCIe传输通道,安装4组CXL存储器扩充模组,让CPU可用的存储器容量与频宽大幅增加了50%与40%。
同月,矽谷晶片设计商Astera Labs发表2款Leo系列CXL存储器控制器晶片,搭配该公司Aurora A系列存储器扩充板卡,上面可搭载最多2TB的DDR5存储器,以CXL存储器扩充卡的形式,作为CXL存储器连接测试平台。
到了9月,中国台湾的世迈科技发表E3.S规格的XMM CXL存储器模组产品,有64GB与96GB两种规格,接下来也会推出AIC卡板形式版本。
10月底OCP全球大会SK Hynix展出特别的CXL存储器衍生产品工程原型——运算型存储器解决方案(Computational Memory Solution,CMS),这张工程原型的PCIe板卡,搭载了512GB存储器与可程式化运算单元,不仅可为服务器提供额外存储器资源,还能在板卡就近执行资料处理作业,减少资料在CPU与存储器之间的往返。
紧接着在2022年11月举行的SC22大会,前述这些CXL存储器模组产品也展现进一步的应用整合成果。
例如,以色列新创厂商UnifabriX展出2U机箱形式的CXL Smart Memory节点装置,便可搭配三星或SK Hynix的E3.S规格CXL存储器模组,是首波应用这类CXL存储器模组的解决方案之一。
中国台湾服务器厂商云达科技(QCT)也有展示,他们以QuantaGrid D54Q-2U服务器,搭配Astera Labs Leo CXL存储器扩充卡,构成CXL应用展示平台。
时隔半年多以后,在今年8月举行的FMS 2023大会中,接续出现一批CXL存储器产品与应用解决方案。
例如,美光(Micron)展出CZ120 CXL存储器扩充模组,采用E3.S规格,可提供128GB或256GB容量,成为继三星与SK Hynix之后,投入这个领域的存储器大厂。
而三星则以他们的256GB CXL存储器扩充模组为基础,与MemVerge、H3 Platform、XConn等厂商合作,推出CXL存储器系统。
CXL存储器扩充模组的组成,包括CXL控制器晶片,加上DRAM存储器晶片,里面的DRAM存储器经由CXL控制器晶片的中介,经由PCIe介面与服务器CPU连结。
截至目前为止,总共有7家厂商都曾发表或展出CXL存储器扩充模组,其中的Montage Technology与Meta,展出的产品都是内部开发测试用的工程原型,应该没有对外销售的打算;Astera Labs的CXL存储器扩充卡,应该是提供其他厂商构建开发测试平台之用,主要销售对象并非一般用户;至于三星、SK Hynix、美光与世迈科技的产品,则是面向一般用户的产品。
这些产品都采用一致的型态,待配套环境成熟、相容性问题解决后,理论上便能成为通用、可互换的规格,便于用户视需要选购CXL存储器扩充模组,以便在自身使用的服务器搭配。
接下来我们便从外型、容量与效能规格,来检视这些第一代的CXL存储器扩充模组产品。
目前的CXL存储器扩充模组,基本上都是采用2种外型规格,如果不是基于EDSFF E3.S模组型式,就是AIC(Add-In Card)附加板卡形式。
不同的外形规格会影响安装部署方式,E3.S模组的CXL存储器扩充模组,和E3.S规格的SSD一样,可安装在服务器磁碟槽使用。AIC板卡的产品,则是同于一般PCIe卡,安装在服务器的PCIe扩充插槽。
目前已发表的CXL存储器扩充模组产品,全都是搭载DDR5存储器,容量最小从64 GB起跳,最大可达2 TB。
基于E3.S规格的产品,是直接将DRAM存储器晶片嵌在模组的机板上。而采用AIC附加板卡的产品,则是在板卡配置DIMM插槽,然后将存储器DIMM模组装到插槽上。
一般来说,采用AIC板卡的产品,可以凭藉本身有较大尺寸的空间,而设置、提供更大的存储器容量,不过这也要视厂商采用的存储器颗粒容量而定。
目前采用E3.S规格的产品中,容量最大的是三星的CXL存储器扩充模组,最大容量达512 GB。AIC板卡规格的产品则能提供更大的存储器容量,如Astera Labs的Aurora存储器扩充板卡,可安装最多2 TB DDR5存储器。
CXL协定是嫁接在PCIe 5.0/6.0的物理层的介面之上,目前的CXL存储器扩充模组中,采用E3.S规格的产品,底层传输介面规格都是基于PCIe 5.0×8,而采用AIC附加板卡规格的产品,则有基于PCIe 5.0×16介面的案例,可提供更高的传输频宽。
CXL存储器扩充模组的基本目的,让服务器突破既有DIMM插槽的限制,提高CPU的存储器容量与传输频宽。
而在具体的数值规格方面,依不同厂商的产品与计算方式,安装在服务器上的CXL存储器,能为服务器每颗CPU提供的容量与频宽增长比例,从20%到1倍都有。
目前,我们看到SK Hynix特别列出了具体的计算方式。
举例来说,在目前的服务器产品Z,每颗x86处理器最多配置8个DDR5存储器通道,以及768 GB DRAM存储器(8条96GB模组),存储器传输频宽介于260至320 GB/s。透过PCIe插槽安装4组SK Hynix的CXL 2.0存储器模组后,每个存储器模组可提供96 GB存储器,以及30至40 GB/s存储器频宽。因此,CPU配置的存储器最大容量,可提高到1.15 TB(原有的768 GB存储器,加上4组CXL存储器扩充模组合计的384 GB),较原本提高将近50%,存储器传输频宽也提高到360至480GB/s,比起原本的组态提升了40%,效能增长的幅度可说十分显著。
相较于透过DIMM直连CPU的基本系统存储器,CXL存储器扩充模组是透过PCIe汇流排介面来连结CPU,因此,在效能与延迟方面面临的折损,自然会让用户产生一些疑虑。
不过,根据QCT在SC22大会展示内容,以服务器搭配Astera Labs Leo CXL存储器扩充卡所作的实测显示,CXL扩充存储器的效能,可以达到DIMM系统存储器的95%左右;而在存取延迟方面,则与跨UPI/QPI通道存取另一处理器插槽所属DIMM的延迟相当。
也就是说,就单机系统的环境来说,尽管CXL存储器扩充模组的效能比不上DIMM存储器,但差距很小,在多数应用都不致成为问题。
上一条: HBM与传统DRAM、NAND制程封装的区别
下一条: 台积砸900亿建置 啥是CoWoS?