为何英伟达和超微都在抢HBM？

HBM解决传统DRAM存储器限制讯息流通的问题，透过同一封装内芯片的矽中介质和SoC集成在一起，克服数据I/O封装管脚限制的最大数量，突破DDR宽带限制的问题，让AI离不开HBM。SK海力士目前市占率超过五成，有主宰HBM价格的能力。
过去存储器常常摆脱不了景气循环的宿命，随着科技进入ＡＩ世代，伴随着对高频宽存储器（ＨＢＭ）的需求，让存储器有新的转机。Nvidia执行长黄仁勋曾经表示，若ＧＰＵ要顺利推动ChatGTP等最先进生成式ＡＩ，要最大限度地发挥ＧＰＵ性能，必须有ＨＢＭ。今年Nvidia搭配ＡＩ处理器平台的ＨＢＭ的主流规格是HBM3和HBM3e，下一世代ＧＰＵ平台Rubin（二○二六年推出）就要采用HBM4，届时谁能抢到较多的市占率，将有机会主宰HBM领导角色。ＨＢＭ产能供不应求黄仁勋对ＨＢＭ曾经有过这样的评论，就是买越多、省越多！难道ＨＢＭ价格是比传统存储器DRAM便宜吗？当然不是这样！ＨＢＭ作为先进的存储器，它的技术比传统DRAM技术困难很多，由于厂商目前在ＨＢＭ的良率还不是很高（仅约五○～六○％），工序复杂，价格当然不会便宜。在ＧＰＵ跨入ＡＩ世代时，只有DDR5/HBM才有办法在ＡＩ高倍速（ＨＣＰ）的环境下运作，其他规格的存储器都不行，加上全世界只有ＳＫ海力士、美光科技和三星电子等的存储器大厂制程有能力做出ＨＢＭ，以至于产能有限，市场供不应求，ＨＢＭ目前是卖方喊价的市场。
随着市场对ＨＢＭ需求越来越大，ＳＫ海力士、美光科技和三星电子等三大存储器制造商未来的资本支出会大幅用来生产ＨＢＭ，并且会逐步把之前生产较低阶DRAM生产线，逐步改为ＨＢＭ生产线。根据统计去年底ＨＢＭ占整体DRAM产能约八％，市场规模四三．五六亿美元、年成长率达一一○％。预估到今年底，ＨＢＭ在DRAM的比重将有机会达到二○％、一六九．一亿美元的产值。ＨＢＭ的生产周期比DDR5更长，从投片到产出与封装完成需要两个季度以上，生产周期（包含ＴＳＶ）会比DD5多出一．五～二个月以上不等，对ＨＢＭ买家来说，都要及早规划预定，否则有钱也买不到。目前这三大厂针对今年的产能都已经预订一空，ＳＫ海力士日前宣布明年的产能都被预订一空，美光科技明年的产能也差不多被订完。
不过，最近传出三星电子没有通过Nvidia的认证，主要是因为过热和功耗有问题。据了解，从去年起三星电子一直尝试通过Nvidia的第四代HBM3和第五代HBM3e的认证，但到日前为止，三星电子八层与十二层堆叠的HBM3与HBM3e都未通过认证。三星电子没通过Nvidia就无法打入Nvidia的供应链，目前也只能供应超微和其他ＣＳＰ客户，这会让三星电子在未来的ＨＢＭ市场被弱化，毕竟打不进Nvidia供应链就等于没打进主流市场。这个情况，可能会让ＳＫ海力士会在ＨＢＭ的主宰力更大，价格会更硬，这也是Nvidia和超微不乐见的现象。去年底ＨＢＭ市占率中，ＳＫ海力士拥有高达五成的市占率、三星电子约四成、美光科技仅一成。美光科技最大的问题就是产能不足，未来要观察美光科技在一β制程已经开出来后，能否提高ＨＢＭ产能，来抢占三星电子空出来的市占率。
黄仁勋四日在COMPUTEX会场中表示，ＳＫ海力士和美光科技已是Nvidia的ＨＢＭ供应链，而三星电子还在努力中。言下之意，Nvidia仍期待三星电子能通过认证，成为ＨＢＭ供应链的一环。解决传统DRAM许多问题ＨＣＰ是进入ＡＩ领域的必经过程，且在短期间内要处理最多的大数据资料。ＨＢＭ会成为ＡＩ的必需品，在技术上ＨＢＭ解决了传统DRAM遇到的内存高墙（MemoryWall）问题，这问题限制数据无法流通，是传统DRAM无法用在ＡＩ用途的原因。ＨＢＭ利用独特的矽穿孔（ＴＳＶ）技术，让讯息透过矽中介层能紧凑地让数据连结ＧＰＵ。如此能节省数据传输的时间延迟与耗能问题。ＨＢＭ是以数个DDR堆叠方式形成，从四层、八层到十二层不等，形成大容量和高宽带的DDR组合阵列。采用堆叠方式最高能节省九四％的芯片面积，ＨＢＭ透过同一封装内的矽中介层与SoC集成在一起，能够克服数据I/O封装管脚限制的最大数量，进而突破内存宽带的限制。综合来看，高宽带、低延迟、低功耗以及高效传输等特性，让ＨＢＭ成为ＡＩ运作过中存储器的首选。
随着ＡＩ算力提升，对周边设备规格的要求也越来越严谨。根据Nvidia官网显示，以A100当时搭配HBM2e的效能为基础，二三年的H100搭配HBM3时，运作效能比A100提高十一倍，而H200搭配HBM3e的运作效能更比A100提高十八倍，即将在今年下半年推出的B100搭配HBM3e的效能，又比H200的效能至少再高出一倍。