CXL存储器扩充模组即将大爆发

用于为服务器扩展存储器资源的CXL存储器扩充模组，是CXL应用最基础的周边元件，今年下半已有众多厂商投入推出产品，可望成为第一波进入用户环境的CXL应用主力

包括CXL在内的存储器互连技术，实际应用上最基本的两大诉求，分别是提高服务器CPU的存储器资源，以及改善存储器资源的使用率，对CXL而言，是透过“扩展存储器”，以及“存储器池”技术来因应。
而在这2项技术中，扩展存储器在单机环境便能实现，技术更简易，应用架构也更为单纯，因而发展也更为成熟。相较之下，存储器池必须仰赖跨服务器互连，才能实现。
另一方面，在共享存储器与存储器池应用环境，扩展存储器也能派上用场，能为存储器池提供更多可用的存储器资源，因而扩展存储器也能视为CXL应用的起步或初阶。
而CXL的扩展存储器应用，则是透过CXL存储器扩充模组来实现。
过去2年，有多家厂商发表用于扩展服务器存储器的CXL存储器扩充模组，包括，存储器大厂如三星、SK Hynix与美光，Astera Labs等新创厂商，同时，还有中国台湾的世迈科技（SMART Modular Technologies），将进入实际上市阶段。
CXL存储器扩充模组属于CXL应用型态的Type 3类型，主要目的是将CXL存储器扩充模组内含的存储器资源，提供服务器CPU使用，也就是由周边装置单向提供存储器资源给CPU。
而服务器CPU则能藉此摆脱主机板存储器DIMM插槽的限制，从CXL存储器扩充卡获得额外的存储器频宽与容量，通常可以额外扩充40、50%以上的存储器频宽与容量，效益十分显著。

CXL存储器扩充模组的2大主流类型
目前的CXL存储器扩充模组产品有2大主流类型，一为采用E3.S模组规格，另一为基于AIC附加板卡规格。
CXL存储器扩充产品发展历程
我们所知最早的CXL存储器扩充模组产品，是三星2021年5月发表的CXL存储器扩充模组，当时称作CXL存储器扩展器（CXL Memory Expander），采用E3.S外形规格，内含128GB容量的DDR5存储器。
接着在2021年12月举行的SC 21大会，出现了一波CXL存储器扩充卡风潮，当时Meta、三星、中国的晶片设计商Montage Technology（澜起科技），都展出了CXL存储器扩充模组产品或解决方案。
作为社群网站龙头的Meta，以及中国厂商澜起科技，展出的是PCIe卡版形式的CXL存储器卡。
Meta采用的CXL存储器卡内建64GB DDR5存储器，可在Linux系统环境下，透过CXL 2.0协定连结Intel第四代Xeon Scalable处理器（Sapphire Rapids），将CXL存储器卡内含的存储器，映射为服务器主机CPU可以使用的系统存储器。
Montage Technology展出POC原型，以 FPGA加速卡打造的CXL存储器扩充卡，内含16 GB存储器，可支援CXL.io与CXLmem协定，藉此让CPU存取扩充卡上的存储器。
至于三星，展出整合CXL存储器扩充装置的SAP HANA存储器资料库平台，可以透过CXL本身提供的扩充存储器，大幅增加SAP HANA存储器资料库可用的存储器资源，这也是我们所知最早的CXL存储器扩充应用解决方案展示。
其他厂商多半只是展示服务器主机可以识别与抓取CXL存储器扩充装置上的DRAM容量而已，三星更进一步，将他们的CXL存储器扩充装置整合到资料库应用平台运作。
到了2020年，又有更多厂商投入这个领域。行动最积极的仍是三星，先是在5月发表升级版的CXL存储器扩充模组，最大容量提高4倍达到512GB，存取延迟也减少80%。接着在8月的FMS 2022大会，展出兼具NVMe SSD与CXL存储器扩充模组双重功能的特殊产品，名为Memory-Semantic SSD。
另一存储器大厂SK Hynix也在8月，跟进发表了CXL存储器扩充模组产品，称作CXL 2.0存储器装置（CXL 2.0 Memory），外形采用E3.S规格，每组可提供96 GB存储器。

CXL存储器扩充模组的应用模式
CXL存储器扩充模组的基本目的，是让CPU在既有的DIMM之外，获得额外的存储器频宽与容量。以上图为例，单一CPU原本最多只能配置8个DIMM存储器通道，而透过CXL技术，则能另外透过PCIe传输通道，安装4组CXL存储器扩充模组，让CPU可用的存储器容量与频宽大幅增加了50%与40%。
同月，矽谷晶片设计商Astera Labs发表2款Leo系列CXL存储器控制器晶片，搭配该公司Aurora A系列存储器扩充板卡，上面可搭载最多2TB的DDR5存储器，以CXL存储器扩充卡的形式，作为CXL存储器连接测试平台。
到了9月，中国台湾的世迈科技发表E3.S规格的XMM CXL存储器模组产品，有64GB与96GB两种规格，接下来也会推出AIC卡板形式版本。
10月底OCP全球大会SK Hynix展出特别的CXL存储器衍生产品工程原型——运算型存储器解决方案（Computational Memory Solution，CMS），这张工程原型的PCIe板卡，搭载了512GB存储器与可程式化运算单元，不仅可为服务器提供额外存储器资源，还能在板卡就近执行资料处理作业，减少资料在CPU与存储器之间的往返。
紧接着在2022年11月举行的SC22大会，前述这些CXL存储器模组产品也展现进一步的应用整合成果。
例如，以色列新创厂商UnifabriX展出2U机箱形式的CXL Smart Memory节点装置，便可搭配三星或SK Hynix的E3.S规格CXL存储器模组，是首波应用这类CXL存储器模组的解决方案之一。
中国台湾服务器厂商云达科技（QCT）也有展示，他们以QuantaGrid D54Q-2U服务器，搭配Astera Labs Leo CXL存储器扩充卡，构成CXL应用展示平台。
时隔半年多以后，在今年8月举行的FMS 2023大会中，接续出现一批CXL存储器产品与应用解决方案。
例如，美光（Micron）展出CZ120 CXL存储器扩充模组，采用E3.S规格，可提供128GB或256GB容量，成为继三星与SK Hynix之后，投入这个领域的存储器大厂。
CXL存储器扩充模组的基本型态
CXL存储器扩充模组的组成，包括CXL控制器晶片，加上DRAM存储器晶片，里面的DRAM存储器经由CXL控制器晶片的中介，经由PCIe介面与服务器CPU连结。
截至目前为止，总共有7家厂商都曾发表或展出CXL存储器扩充模组，其中的Montage Technology与Meta，展出的产品都是内部开发测试用的工程原型，应该没有对外销售的打算；Astera Labs的CXL存储器扩充卡，应该是提供其他厂商构建开发测试平台之用，主要销售对象并非一般用户；至于三星、SK Hynix、美光与世迈科技的产品，则是面向一般用户的产品。
这些产品都采用一致的型态，待配套环境成熟、相容性问题解决后，理论上便能成为通用、可互换的规格，便于用户视需要选购CXL存储器扩充模组，以便在自身使用的服务器搭配。
外型规格
目前的CXL存储器扩充模组，基本上都是采用2种外型规格，如果不是基于EDSFF E3.S模组型式，就是AIC（Add-In Card）附加板卡形式。
存储器型式与容量
目前已发表的CXL存储器扩充模组产品，全都是搭载DDR5存储器，容量最小从64 GB起跳，最大可达2 TB。
基于E3.S规格的产品，是直接将DRAM存储器晶片嵌在模组的机板上。而采用AIC附加板卡的产品，则是在板卡配置DIMM插槽，然后将存储器DIMM模组装到插槽上。
一般来说，采用AIC板卡的产品，可以凭藉本身有较大尺寸的空间，而设置、提供更大的存储器容量，不过这也要视厂商采用的存储器颗粒容量而定。
传输介面
效能表现
CXL存储器扩充模组的基本目的，让服务器突破既有DIMM插槽的限制，提高CPU的存储器容量与传输频宽。
而在具体的数值规格方面，依不同厂商的产品与计算方式，安装在服务器上的CXL存储器，能为服务器每颗CPU提供的容量与频宽增长比例，从20%到1倍都有。
目前，我们看到SK Hynix特别列出了具体的计算方式。
举例来说，在目前的服务器产品Z，每颗x86处理器最多配置8个DDR5存储器通道，以及768 GB DRAM存储器（8条96GB模组），存储器传输频宽介于260至320 GB/s。透过PCIe插槽安装4组SK Hynix的CXL 2.0存储器模组后，每个存储器模组可提供96 GB存储器，以及30至40 GB/s存储器频宽。因此，CPU配置的存储器最大容量，可提高到1.15 TB（原有的768 GB存储器，加上4组CXL存储器扩充模组合计的384 GB），较原本提高将近50%，存储器传输频宽也提高到360至480GB/s，比起原本的组态提升了40％，效能增长的幅度可说十分显著。
相较于透过DIMM直连CPU的基本系统存储器，CXL存储器扩充模组是透过PCIe汇流排介面来连结CPU，因此，在效能与延迟方面面临的折损，自然会让用户产生一些疑虑。
不过，根据QCT在SC22大会展示内容，以服务器搭配Astera Labs Leo CXL存储器扩充卡所作的实测显示，CXL扩充存储器的效能，可以达到DIMM系统存储器的95%左右；而在存取延迟方面，则与跨UPI/QPI通道存取另一处理器插槽所属DIMM的延迟相当。
也就是说，就单机系统的环境来说，尽管CXL存储器扩充模组的效能比不上DIMM存储器，但差距很小，在多数应用都不致成为问题。