什么是 HBM，为什么 Nvidia 需要它？

当英特尔首席执行官帕特·基辛格（Pat Gelsinger）去年表示半导体“对人类生存的各个方面都至关重要”时，他并没有夸大其词。半导体或芯片已成为现代经济的核心。芯片为一切数字化提供动力，从智能手机、汽车和数据中心到军事应用。专家认为，芯片是原油的现代等价物，是一种必不可少但有限的资源。
芯片有各种尺寸和形状，随着人工智能的兴起，一种特殊的技术正在引起人们的关注：高带宽内存（HBM）。全球最大的两家存储芯片制造商三星电子（Samsung Electronics）和SK海力士（SK Hynix）计划增加HBM投资，并将产量翻一番。美国芯片制造商美光（Micron）也加入了这场竞争，提高了下一代HBM芯片的产量。
科技巨头英伟达（Nvidia）一直在批量采购HBM芯片。“我们在HBM上花了很多钱，”英伟达首席执行官黄仁勋今年早些时候表示。“HBM 内存非常复杂，附加值非常高。”
HBM 芯片通过堆叠多层最先进的动态随机存取存储器 （DRAM） 来实现“高带宽”，即每秒在不同组件之间快速传输大量数据的能力。垂直堆叠多个 DRAM 芯片允许在内存和处理器之间建立更宽的数据路径，从而增加整体数据带宽，从而实现更快的数据传输速率。目前的 HBM 堆栈包含多达 8 个 DRAM 芯片，芯片制造商一直在努力增加每个堆栈的 DRAM 数量。
制造 HBM 芯片所涉及的技术复杂性使其比 DRAM 芯片贵 5 到 10 倍。但由于 HBM 在 AI 应用方面具有明显的性能优势，并且很少有公司能够大规模生产 HBM 芯片，因此 HBM 目前的需求远远超过供应。
“2024 年和明年大部分时间的 HBM 供应已经售罄，”SK 海力士首席执行官 Kwak Noh-Jung 在 5 月的新闻发布会上表示。 SK 海力士一直是 Nvidia 第四代 HBM3 芯片的唯一供应商。美光于今年第二季度开始向英伟达供应HBM3E芯片，用于其下一代H200图形处理单元。三星电子尚未通过英伟达的资格测试。
当SK海力士在2013年生产出第一款HBM芯片时，它是一种相对不为人知的小众技术。HBM 芯片最初用于游戏显卡。HBM 背后的技术从第一代 （HBM） 发展到第二代 （HBM2）、第三代 （HBM2E）、第四代 （HBM3） 和现在的第五代 （HBM3E）。HBM3E 是迄今为止最先进的 HBM 芯片，可堆叠 12 个 DRAM，每秒可提供高达 1,280 GB 的数据，几乎是之前型号的两倍。
这三家芯片制造商现在陷入了一场 HBM 技术竞赛，随着 AI 的爆炸性增长推动了对 AI 芯片的需求，预计这场竞赛将愈演愈烈。将需要大量的 HBM 来支持支持生成式 AI 的大型语言模型，包括 ChatGPT 等高级 AI 聊天机器人，并实现更节能的 AI 训练。TrendForce集邦咨询估计，ChatGPT在不久的将来可能需要多达30,000个Nvidia A100 GPU，这意味着HBM的销量将随着GPU需求而激增。
根据市场研究公司 Omnia 的数据，虽然 HBM 去年仅占全球 DRAM 市场的 9%，但预计今年将占 18% 以上。高盛预测，2023 年至 2026 年间，全球 HBM 市场将以约 100% 的复合年增长率增长，到 2026 年将达到 300 亿美元。