"存储器全村希望”HBM是什么?
* 来源 : * 作者 : admin * 发表时间 : 2024-05-22
存储器长期以来,都不是太性感的产业,最常见的新闻就是跟“景气循环”写在一起。然而自AI需求崛起后,存储器大厂开始大幅占据科技新闻版面,并跟一组关键字紧密连动──HBM。HBM是高频宽存储器,作为重要的供应商,韩国HBM龙头SK海力士表现惊人,市值自2023年开始一路狂飙,4月1日突破千亿美元大关;股价也从2023年初累计至2024年的4月,暴增超过1.1倍。
从各方面来看,HBM让存储器厂迎来全新一波的成长动能,美国存储器巨头美光(Micron)更表示,HBM产能开出后便被订购一空。到底什么是HBM,为什么在AI时代成为众人追捧的关键?
美光副总裁暨运算与网路事业部运算产品事业群总经瓦伊迪亚纳坦(Praveen Vaidyanathan)指出,芯片性能表现与存储器的频宽和容量成正相关,随着大语言模型(LLM)参数量增加,也需要更高频宽存储器,AI处理器才能顺利运行。
HBM相较传统DRAM为“高频宽”存储器。高频宽就好比是高速公路,道路越宽可承受的车流量就越大,等于存储器能运送的资料量就越多;再加上HBM可简单理解为好几DRAM透过先进封装堆叠起来,传输快速以外储存空间也扩大。
《SemiAnalysis》指出,光GPT-4就含1.8兆个参数,想应用AI,就必须搭配像HBM这样容量更大、存取更快速的存储器,让参数可以轻易被传输与储存。不过HBM与一般DRAM之间并不存在取代关系,而是因为应用需求的不同,衍生出的技术。
HBM的应用有哪些?除了AI伺服器,还有哪些也会用到HBM?
由于技术难度高,HBM成本也相对高昂。早在2013年HBM就已经诞生,当时超微(AMD)找上海力士共同研发第一代HBM,却因价格太贵而鲜少被芯片业者采用,直至今日才因为AI应用而崛起。
芯片业者分析,虽然越先进的HBM价格越高,但只要效能够好、够省电,厂商当然愿重本采用。
目前来看,AI伺服器会是HBM最重要的市场,美光以及海力士的HBM3e已通过英伟达的验证,市场更盛传英伟达已支付数亿美元的预付款以确保供应。瓦伊迪亚纳坦指出:“AI伺服器所需要的存储器量,是传统伺服器的5~6倍。”
除此之外,未来自驾车市场也是HBM重要的应用场景。Mordor Intelligence在10月出版的一份报告中表示,自驾车与ADAS(自动驾驶辅助系统)正在推升HBM的需求。从这个情况看来,AI伺服器+车用的HBM市场需求,可能将长达10年。
存储器巨头的HBM战争则早已开打。作为先进者的海力士,在2022年拿下近全球近5成HBM市占夺冠,居次的三星占4成、美光占1成。《BusinessKorea》指出,三星将在2024年积极扩产HBM以追上海力士脚步;看似落后的美光,则希望在HBM战局中,透过技术反超来吹响反攻号角。
如同台积电的3、5纳米,DRAM也有制程迭代,排序为1y、1z、1α(1-alpha)、1β(1-beta)和1γ(1-gamma),其中1β是当前已量产的最先进存储器,1γ则还未量产。若进一步比较,最新一代的HBM3e,三星采用的是1α制程,海力士与美光皆用1β制作,于技术上领先三星。投资银行分析师指出,美光是希望藉着HBM技术领先,抢攻市场龙头。
全球存储器市场长久以来三分天下,HBM受到重视后则开启全新战局,甚至可能扭转局势。在先进技术优先、成本其次考量的AI时代,存储器比起以往将扮演更重要的角色。
从各方面来看,HBM让存储器厂迎来全新一波的成长动能,美国存储器巨头美光(Micron)更表示,HBM产能开出后便被订购一空。到底什么是HBM,为什么在AI时代成为众人追捧的关键?
HBM是什么?跟传统DRAM有什么不同?
简单来说,越强的AI处理器,需要越强的存储器。
HBM相较传统DRAM为“高频宽”存储器。高频宽就好比是高速公路,道路越宽可承受的车流量就越大,等于存储器能运送的资料量就越多;再加上HBM可简单理解为好几DRAM透过先进封装堆叠起来,传输快速以外储存空间也扩大。
《SemiAnalysis》指出,光GPT-4就含1.8兆个参数,想应用AI,就必须搭配像HBM这样容量更大、存取更快速的存储器,让参数可以轻易被传输与储存。不过HBM与一般DRAM之间并不存在取代关系,而是因为应用需求的不同,衍生出的技术。
高频宽存储器(HBM,High Bandwidth Memory),是将DRAM透过先进封装技术堆叠而成,与GPU整合于同一块芯片上,更有利于就近存取、传输资料。主要作法为利用矽穿孔(TSV)技术,在芯片钻出小洞,再填充如铜这样的导电物质,连接金属球以达通电效果。
HBM技术难在哪?
“把DRAM叠起来”听来简单,但实际上存在不少技术难度。瓦伊迪亚纳坦指出3项关系着良率的技术难点:
首先,是厚度。
HBM厚度仅能为人类头发的一半,意味着每一层DRAM的厚度都必须控制,研磨必须相当精细。瓦伊迪亚纳坦指出:“一旦堆叠层数越多,DRAM就必须做的更薄。”在这样的状况下,企业必须拥有更先进的DRAM制程才可能达成。其次,是晶圆堆叠的精准度。
HBM的封装是将每一片DRAM晶圆叠齐后再做切割,切割下来的晶粒就是HBM。不过,制造商为让堆叠更薄,会在矽晶圆上穿孔并以金属物质填满,用以通电,藉此取代传统封装的导线架。这样的打洞技术则称为“矽穿孔(TSV, Through Silicon Via)。”倘若是堆叠4层的HBM,从晶圆堆叠切割前开始,就必须精准对齐矽穿孔(TSV),“切的时候也不能移位,否则不能导电。”瓦伊迪亚纳坦说。由于矽穿孔仅略大于细菌尺寸,需要非常精细的工艺才能做到。第三,就是堆叠后的散热问题。HBM之所以被发明,来自于芯片商希望能将存储器和处理器,包含CPU和GPU,全都包在一颗IC中。如此一来,存储器与处理器的距离变得比之前近很多,散热问题更需要被解决。综合三点来看,封装技术的重要性更甚以往。
由于技术难度高,HBM成本也相对高昂。早在2013年HBM就已经诞生,当时超微(AMD)找上海力士共同研发第一代HBM,却因价格太贵而鲜少被芯片业者采用,直至今日才因为AI应用而崛起。
芯片业者分析,虽然越先进的HBM价格越高,但只要效能够好、够省电,厂商当然愿重本采用。
目前来看,AI伺服器会是HBM最重要的市场,美光以及海力士的HBM3e已通过英伟达的验证,市场更盛传英伟达已支付数亿美元的预付款以确保供应。瓦伊迪亚纳坦指出:“AI伺服器所需要的存储器量,是传统伺服器的5~6倍。”
除此之外,未来自驾车市场也是HBM重要的应用场景。Mordor Intelligence在10月出版的一份报告中表示,自驾车与ADAS(自动驾驶辅助系统)正在推升HBM的需求。从这个情况看来,AI伺服器+车用的HBM市场需求,可能将长达10年。
HBM背后的存储器厮杀战!海力士市占最高、美光靠技术抢市
如同台积电的3、5纳米,DRAM也有制程迭代,排序为1y、1z、1α(1-alpha)、1β(1-beta)和1γ(1-gamma),其中1β是当前已量产的最先进存储器,1γ则还未量产。若进一步比较,最新一代的HBM3e,三星采用的是1α制程,海力士与美光皆用1β制作,于技术上领先三星。投资银行分析师指出,美光是希望藉着HBM技术领先,抢攻市场龙头。
全球存储器市场长久以来三分天下,HBM受到重视后则开启全新战局,甚至可能扭转局势。在先进技术优先、成本其次考量的AI时代,存储器比起以往将扮演更重要的角色。
上一条: 为严苛型运算选择高频宽存储器
下一条: 硅光子原理是什么?为何台积电、日月光都瞄准?