HBM3E起飞，冲锋战鼓已然擂响

sunsili

HBM3E起飞，冲锋战鼓已然擂响

HBM即高带宽内存，是一款新型的CPU/GPU内存芯片。如果说传统的DDR就是采用的"平房设计"方式，那么HBM则是采用"楼房设计"方式。

目前，HBM产品以HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代）、HBM3E（第五代）的顺序开发。

可以看到，HBM每一次更新迭代都会伴随着处理速度的提高。HBM3自2022年1月诞生，便凭借其独特的2.5D/3D内存架构，迅速成为高性能计算领域的翘楚。HBM3不仅继承了前代产品的优秀特性，更在技术上取得了显著的突破。它采用了高达1024位的数据路径，并以惊人的6.4 Gb/s的速率运行，实现了高达819 Gb/s的带宽，为高性能计算提供了强大的支持。而今，SK海力士、美光等厂商将这一标准再度提升，HBM3E一经问世便迅速赢得市场的热烈追捧。三大存储巨头的HBM3E技术特点
HBM3E技术的主要引领者依然是美光、SK海力士与三星这三大巨头，它们继续在这一领域发挥重要作用，共同推动着技术的创新与进步。以下是这三大厂商在HBM3E技术方面的精彩呈现。SK海力士-独创的MR-MUF技术等2023年8月21日，SK海力士宣布成功开发出面向AI的超高性能DRAM新产品HBM3E，并开始向客户提供样品进行性能验证。据悉，SK海力士采用了先进的MR-MUF（Molding with Rubberand UFP）技术，使得HBM3E的散热性能比上一代产品提高10%。这种技术通过在半导体芯片堆叠后的空间中注入液体形态的保护材料并进行固化，与每堆叠一个芯片时铺上薄膜型材料的方式相较，工艺效率更高，散热方面也更加有效；其HBM3E的最高数据处理速度可达每秒1.18TB（太字节），这意味着它能够在极短的时间内处理大量数据。相当于在1秒内处理230部全高清（FHD）级别的电影。另外，其HBM3E提供高达8Gbps的传输速度，这是相较于前一代HBM3的显著提升。这种高速度对于需要快速数据处理的应用场景，如高性能计算和人工智能，尤为重要。美光- 1β、先进的硅通孔（TSV）技术等2023年9月，SK 海力士的 HBM3E 内存迎来新竞争对手-美光。美光也利用其 1β（1-beta）技术、先进的硅通孔（TSV）和其他实现差异化封装解决方案的创新技术开发出业界领先的 HBM3E 设计。凭借其卓越的性能、出色的能效等优势，美光的HBM3E收获内存市场的诸多青睐。比如美光 HBM3E 引脚速率超过 9.2Gb/s，提供超过 1.2TB/s 的内存带宽，助力人工智能加速器、超级计算机和数据中心实现超高速的数据访问；美光 HBM3E 目前提供 24 GB 容量，使数据中心能够无缝扩展其人工智能应用。无论是用于训练海量神经网络还是加速推理任务，美光的解决方案都提供了必要的内存带宽。三星-先进的热压非导电薄膜技术等三星也一直在致力于提供更为优秀的产品以满足人工智能时代对高性能和大容量解决方案的更高要求。2023年10月21日，三星在其一年一度的“存储器技术日”活动中，发布了名为“Shinebolt”的新一代HBM3E DRAM。三星Shinebolt支持新一代AI应用，可提高总体拥有成本，加速数据中心的AI模型训练和推理。HBM3E的每个引脚速度高达9.8Gbps，这意味着整体传输速率可超过1.2TBps。为实现更高的堆叠层数并改善热特性，三星优化了非导电薄膜(NCF)技术，以消除芯片层之间的间隙并尽可能提高导热性。2024年2月，三星成功发布其首款12层堆叠HBM3E DRAM——HBM3E 12H，这是三星目前为止容量最大的HBM产品。三星HBM3E 12H支持全天候最高带宽达1280GB/s，产品容量也达到了36GB。相比三星8层堆叠的HBM3 8H，HBM3E 12H在带宽和容量上大幅提升超过50%。HBM3E 12H采用了先进的热压非导电薄膜（TC NCF）技术，使得12层和8层堆叠产品的高度保持一致，以满足当前HBM封装的要求。HBM3E 12H产品的垂直密度比其HBM3 8H产品提高了20%以上。三星先进的热压非导电薄膜技术还通过允许在芯片之间使用不同尺寸的凸块（bump）改善HBM的热性能。相比HBM3 8H，HBM3E 12H搭载于人工智能应用后，预计人工智能训练平均速度可提升34%，同时推理服务用户数量也可增加超过11.5倍。
各家的量产进度

2024年3月19日，SK海力士宣布，公司率先成功量产超高性能用于AI的存储器新产品HBM3E，将在3月末开始向客户供货。SK海力士作为全球首家推出HBM3E的供应商，自去年8月宣布开发计划至今，仅用了短短七个月时间便实现了量产。据悉，SK海力士的首批HBM3E产品将按照预定计划准时交付给英伟达。2024 年 2 月 26 日，美光宣布开始量产其 HBM3E 高带宽内存解决方案。据悉，英伟达 H200 Tensor Core GPU 将采用美光 8 层堆叠的 24GB 容量 HBM3E 内存，并于 2024 年第二季度开始出货。目前，三星已开始向客户提供HBM3E 12H样品，预计于今年下半年开始大规模量产。
竞购HBM3E，英伟达既要又要还要随着AI服务器的流行，AI加速卡的需求也呈现出强劲的增长势头。而作为AI加速卡的重要组成部分，高频宽存储器HBM正逐渐成为其不可或缺的DRAM模块。英伟达的下一代AI加速卡B100（Blackwell架构）的存储器规格，将采用HBM3E。而这种规格的存储器，目前只有SK海力士、三星电子和美光能提供。为了保障HBM的稳定供应，英伟达甚至需要以大量预付款的形式提供资金支持内存供应商研发HBM产品。要知道客户向内存供应商大规模预付款项的情况是很少见的。毕竟，急切需要HBM3E产能的并非只有英伟达一家，众多企业都竞相争夺这一稀缺资源，比如 AMD、微软、亚马逊等都在排队购买。据悉，AMD 将在今年晚些时候推出采用 HBM3e 内存的升级版 MI300 AI 加速器，随后于 2025 年推出新一代 Instinct MI400。除英伟达和AMD之外，亚马逊和微软则是云服务领域的两大巨头，之前已引入生成式人工智能技术，并大幅追加了对于AI领域的投资。报道称，SK海力士正忙于应对客户对HBM3E样品的大量请求，但满足英伟达首先提出的样品数量要求非常紧迫。         在这场竞赛的伊始，两大HBM供应商的产能迅速被抢购一空。近日，SK海力士副总裁Kim Ki-tae在一篇博文中表示，虽然2024年才刚开始，但今年SK海力士旗下的HBM已经全部售罄。同时，公司为了保持市场领先地位，已开始为2025年预作准备。美光科技也表示今年HBM产能已销售一空，2025年绝大多数产能已被预订。此前英伟达联合创始人兼CEO黄仁勋在GTC 2024大会上表示，英伟达正在测试三星的HBM芯片，可能会在未来采用。这也意味着，在当前供需关系异常紧张的背景下，英伟达不仅依赖SK海力士和美光两家提供HBM3E产能，还急需三星的加入以满足其日益增长的需求。如此来看，在AI发展如日中天的当下，HBM3E的2024年产能存在严重不足。
2024年HBM供给位元年增长率有望高达260%据集邦咨询，截至 2024 年底，整体 DRAM 产业规划生产 HBM TSV 的产能约为 250K/m，占总 DRAM 产能（约 1,800K/m）约 14%，原厂持续加大投入，供给位元年增长率有望高达 260%。占比方面，HBM 需求持续旺盛，2024 年订单已基本被买家锁定，占 DRAM 总产值比重有望从 2023 年的 8.4%提升至 2024 年的 20.1%，成长迅速。该机构同时预估了三大HBM厂商的HBM/TSV产能，其中三星HBM TSV年产能将在2024年达到130K/m。SK海力士次之，可达120~125K/m；美光相对较少，仅为20K/m、目前三星、SK海力士规划提高HBM产能最积极，其中SK海力士在HBM3市场的占有率逾90%，而三星将连续数个季度紧追，未来将受惠于AMD MI300芯片的逐季放量。

HBM高带宽存储芯片晶圆的尺寸相比同容量、同制程的DDR5大35%~45%，然而良率（包含TSV封装良率）要低20%~30%。生产周期方面，HBM的制造工艺（包含TSV）较DDR5长1.5~2个月不等。由于HBM芯片生产周期更长，从投片到产出、封装完成需要两个季度以上。因此，急需取得充足供货的买家更早锁定订单。去年6月有媒体报道称，SK海力士正在准备投资后段工艺设备，将扩建封装HBM3的利川工厂，预计到今年年末，该厂后段工艺设备规模将增加近一倍。近日，SK海力士正计划投资大约40亿美元，在美国印第安纳州西拉斐特新建大型的先进芯片封装工厂，力争扩张HBM存储产能以满足英伟达庞大需求。该大型先进封装工厂可能于2028年开始运营。为了缩小差距，美光也对其下一代产品 HBM3E 下了很大的赌注。据悉，美光科技位于中国台湾的台中四厂已于2023年11月初正式启用。美光表示，台中四厂将整合先进探测与封装测试功能，量产HBM3E及其他产品，从而满足人工智能、数据中心、边缘计算及云端等各类应用日益增长的需求。三星电子从去年第四季度开始扩大第四代HBM即HBM3的供应，目前正进入一个过渡期。负责三星美国半导体业务的执行副总裁 Han Jin-man 在今年1月表示，公司对包括 HBM 系列在内的大容量存储芯片寄予厚望，希望它能引领快速增长的人工智能芯片领域。他在CES 2024的媒体见面会上对记者说，“我们今年的 HBM 芯片产量将比去年提高 2.5 倍，明年还将继续提高 2 倍。”三星官方还透露，公司计划在今年第四季度之前，将 HBM 的最高产量提高到每月 15 万至 17 万件，以此来争夺2024年的HBM市场。此前三星电子斥资105亿韩元收购了三星显示位于韩国天安市的工厂和设备，以扩大HBM产能，同时还计划投资7000亿至1万亿韩元新建封装线。然而值得注意的是，日前，海外分析师表示，三星HBM3芯片的生产良率约为10%~20%，而SK海力士的HBM3良率可达60%~70%。最大的原因就在于三星坚持使用热压非导电薄膜（TC NCF）制造技术，这会导致一些生产问题。而SK海力士则大规模采用回流模制底部填充（MR-MUF）技术，可以克服NCF的弱点。为提高产量，三星正在积极与材料制造商展开谈判，其中包括日本的Nagase等公司，旨在获取MUF材料的稳定供应。据悉，尽管三星已经下达了用于MUF技术的芯片制造设备采购订单，但由于需要进行更多的测试和优化，使用MUF技术大规模生产高端芯片最早可能要到明年才能准备就绪。
HBM量价齐升，国产厂商迎头赶上国内存储厂商也在入局HBM市场。根据采招网，近日，武汉新芯发布《高带宽存储芯粒先进封装技术研发和产线建设》招标项目，利用三维集成多晶圆堆叠技术，打造更高容量、更大带宽、更小功耗和更高生产效率的国产高带宽存储器产品，推进多晶圆堆叠工艺产业化，新增生产设备约17台/套，拟实现月产出能力≥3000片（12英寸）。面对海外大厂对于 HBM3E 的量产，国内存储厂商也在 HBM 技术上进行着加速突破，有望在 AI 大浪潮的需求下提升竞争实力。

例如中国台湾的华邦电于去年8月介绍了其类HBM高带宽产品CUBEx， 采用1~4层TSV DRAM堆叠，I/O速度500M~2Gbps，总带宽最高可达1024GB/s，颗粒容量为0.5~4GB，功耗低至不足1pJ/bit。这种比常规HBM拥有更高带宽的CUBEx可用于AR、VR、可穿戴等领域。中国大陆方面，目前国际一线厂商DRAM制程在1alpha、1beta水平，国产DRAM制程在 25~17nm水平，中国台湾DRAM制程在25~19nm水平。国内DRAM制程接近海外，且国内拥有先进封装技术资源和GPU客户资源，有强烈的国产化诉求，未来国产DRAM厂商有望突破HBM。目前中国大陆只有长电科技、通富微电和盛合晶微等一线封装厂商拥有支持HBM生产的技术（如TSV硅通孔）和设备。长电科技在投资者互动中表示，其XDFOI高密度扇出封装解决方案也同样适用于HBM的Chip to Wafer 和Chip to Chip TSV堆叠应用；通富微电此前表示，南通通富工厂先进封装生产线建成后，公司将成为国内最先进的2.5D/3D先进封装研发及量产基地，实现国内在HBM高性能封装技术领域的突破，对于国家在集成电路封测领域突破“卡脖子”技术具有重要意义。在其余供应链上，芯片设计企业国芯科技则表示已与合作伙伴一起正在基于先进工艺开展流片验证相关chiplet芯片高性能互联IP技术工作，和上下游合作厂家积极开展包括HBM技术在内的高端芯片封装合作。紫光国微表示，公司HBM产品为公司特种集成电路产品，目前还在研发阶段。香农芯创此前表示，公司作为SK海力士分销商之一具有HBM代理资质。公司未来根据下游客户需求，在原厂供应有保障的前提下形成相应销售。飞凯材料表示，环氧塑封料是HBM存储芯片制造技术所需要的材料之一，MUF材料按性状和工艺分不同品种，目前公司MUF材料产品包括液体封装材料LMC及GMC颗粒封装料，液体封装材料LMC已经量产并形成少量销售，颗粒填充封装料GMC尚处于研发送样阶段。兴森科技表示，公司的FCBGA封装基板可用于HBM存储的封装，但目前尚未进入海外HBM龙头产业链。HBM3和HBM3E，作为HBM芯片的最新迭代版本，正逐渐成为市场的宠儿。它们与核心微处理器芯片的紧密结合，为生成式人工智能处理海量数据提供了强有力的支持。未来，随着HBM3和HBM3E技术的不断完善和成熟，我们有理由相信，它们将在更多领域大放异彩，成为推动人工智能发展的重要力量。无论是国内还是国际的厂商，都将在这一领域中迎来新的发展机遇和挑战。