AI幕后的关键技术之一——HBM

半导体产业步入下行周期之际，2023年ChatGPT的“走红”为产业带来新的发展方向：AI人工智能。 ChatGPT正掀起一场声势浩大的AI浪潮，AI时代下，为满足海量数据存储以及日益增长的繁重计算要求，半导体存储器领域也迎来新的变革，HBM技术从幕后走向台前，未来前景可期。

突破“内存墙”瓶颈，HBM应运而生

HBM（High Bandwidth Memory）即高带宽存储器，按照JEDEC的分类，HBM属于图形DDR内存的一种，其通过使用先进的封装方法（如TSV硅通孔技术）垂直堆叠多个DRAM，并与GPU封装在一起。

                                            HBM通过硅通孔技术实现垂直堆叠

存储器与处理器性能差异正随时间发展逐渐扩大，当存储器访问速度跟不上处理器数据处理速度时，存储与运算之间便筑起了一道“内存墙”。 而随着人工智能、高性能计算等应用市场兴起，数据爆炸式增长之下，“内存墙”问题也愈发突出。 为此，业界希望通过增加存储器带宽解决大数据时代下的“内存墙”问题，HBM便应运而生。

存储器带宽是指单位时间内可以传输的数据量，要想增加带宽，最简单  的方法是增加数据传输线路的数量。 据悉，典型的DRAM芯片中，每个芯片有八个DQ数据输入/输出引脚，组成DIMM模组单元之后，共有64个DQ引脚。 而HBM通过系统级封装（SIP）和硅通孔（TSV）技术，拥有多达1024个数据引脚，可显著提升数据传输速度。 HBM技术之下，DRAM芯片从2D转变为3D，可以在很小的物理空间里实现高容量、高带宽、低延时与低功耗，因而HBM被业界视为新一代内存解决方案。

自2014年首款硅通孔HBM产品问世至今，HBM技术已经发展至第四代，分别是：HBM（第一代）、HBM2（第二代）、HBM2E（第三代）、HBM3（第四代），HBM芯片容量从1GB升级至24GB，带宽从128GB/s提升至819GB/s，数据传输速率也从1Gbps提高至6.4Gbps。

ChatGPT效应下，HBM需求持续看涨

与传统DRAM相比，HBM具备高带宽、高容量、低延时与低功耗等优势，可以加快AI数据处理速度，更适用于ChatGPT等高性能计算场景。 当前ChatGPT等AIGC（生成式人工智能）模型需要使用AI服务器进行训练与推理，其中训练侧AI服务器基本需要采用中高端GPU，如Nvidia A100/H100等，在这些GPU中，HBM的渗透率接近100%; 而推理侧AI服务器尽管目前采用中低端GPU，HBM渗透率不高，不过随着AIGC模型逐渐复杂化，未来推理侧AI服务器采用中高端GPU将是发展趋势，未来这一领域的HBM渗透率也将快速提升。

ChatGPT风靡之下，AI效应正持续发酵，并不断渗透云端/电商服务、智能制造、金融保险、智慧医疗及 智能驾驶辅助等各行各业，AI服务器与高端GPU需求不断上涨，并有望持续推动HBM市场成长。 全球市场研究机构TrendForce集邦咨询预估2023年AI服务器（包含搭载GPU、FPGA、ASIC等）出货量近120万台，年增38.4%，占整体服务器出货量近9%。 其中，NVIDIA GPU为AI服务器市场搭载主流，市占率约60~70%。

从高端GPU搭载的HBM来看，NVIDIA高端GPU H100、A100主采HBM2e、HBM3。 以今年H100 GPU来说，搭载HBM3技术规格，其中传输速度也较HBM2e快，可提升整体AI服务器系统运算效能。 随着高端GPU如NVIDIA的A100、H100; AMD的MI200、MI300，以及Google自研的TPU等需求皆逐步提升，集邦咨询预估2023年HBM需求量将年增58%，2024年有望再成长约30%。

HBM市场格局：SK海力士、三星、美光三分天下

HBM是新一代内存解决方案，其市场被三大DRAM原厂牢牢占据。 集邦咨询调查显示，2022年三大原厂HBM市占率分别为SK海力士50%、三星约40%、美光约10%。

公开资料显示，SK海力士是HBM市场的先行者，也是全面布局四代HBM的厂商。 2014年，SK海力士与AMD联合开发第一代硅通孔HBM产品; 2018年SK海力士发布第二代HBM产品HBM2; 随后2020年SK海力士发布第三代HBM——HBM2E，作为HBM2的扩展版本，性能与容量进一步提升; 2021年10月SK海力士成功开发出第四代产品HBM3，并于2022年6月开始量产，今年4月，该公司进一步宣布，已经全球率先研发出12层堆叠的HBM3内存，单颗容量可达24GB。

三星对HBM的布局从HBM2开始，目前，三星已经向客户提供了HBM2和HBM2E产品。 2016年三星量产HBM2; 2020年三星推出了HBM2; 2021年2月，三星推出了HBM-PIM（存算一体），将内存半导体和AI处理器合二为一; 2022年三星表示HBM3已量产。 另据媒体报道，三星已于今年4月26日向韩国专利信息搜索服务提交“Snowbolt”商标申请，预估该商标将于今年下半年应用于DRAM HBM3P产品。

美光进军HBM相对较晚，相关产品公开报道不多。 2020年美光表示将开始提供HBM2产品，用于高性能显卡，服务器处理器产品。 另据业界透露，美光亦在发力最新HBM3产品。

集邦咨询指出，2023下半年伴随NVIDIA H100与AMD MI300的搭载，三大原厂也已规划相对应规格HBM3的量产。 其中，在今年将有更多客户导入HBM3的预期下，SK海力士作为目前唯一量产新世代HBM3产品的供应商，其整体HBM市占率可望藉此提升至53%，而三星、美光则预计陆续在今年底至明年初量产，HBM市占率分别为38%及9%。

结语

当然，对于新一代内存解决方案而言，HBM并非十全十美，现阶段HBM成本高昂，这就意味着该项技术暂时只能在服务器等高端领域应用，此外由于和主芯片封装在一起，出厂已经确定规格，难以进行容量扩展，因此在服务器等领域，会出现HBM+DDR搭配使用的方案。
不过总体而言，在ChatGPT、人工智能训练和推理以及高性能计算等助力下，市场需要更多极速内存，HBM未来很长的时间内都将大有用处。
---------------------------------------------------------------------------------------------------------------------------------------------------------------------
参考链接：https://zhuanlan.zhihu.com/p/636737158

 点击阅读原文，查看更多精彩内容~