博成原创 | 人工智能时代核心存力—HBM技术解析

HBM 是 High Bandwidth Memory 的缩写，意为高带宽存储器，是一种面向需要极高吞吐量的数据密集型应用程序的 DRAM。它通过使用先进的封装方法（如 TSV 硅通孔技术）垂直堆叠多个 DRAM，与 GPU 通过中介层互联封装在一起，在较小的物理空间里实现高容量、高带宽、低延时与低功耗，已成为数据中心新一代内存解决方案。

HBM 的作用类似于数据的“中转站”，就是将使用的每一帧，每一幅图像等图像数据保存到帧缓存区中，等待 GPU 调用。HBM 在带宽、功耗、封装体积方面具备明显优势，它有效解决了内存墙的问题，在中高端 GPU 中得到广泛应用。

根据不同应用场景，行业标准组织 JEDEC 将 DRAM 分为三个类型：标准 DDR、移动 DDR 以及图形 DDR，图形 DDR 中包括 GDDR 和 HBM。相比于标准的 DDR4、DDR5 等产品，以 GDDR 和 HBM 为代表的图形 DDR 具备更高的带宽，其中 HBM 在实现更大带宽的同时也具备更小的功耗和封装尺寸。

随着 AI 大模型对于数据传输提出了更高的要求，HBM 有望替代 GDDR 成为主流方案。目前，HBM 已升级到 HBM3，存储容量和带宽不断提升。HBM 制造工艺包括 TSV、Bumping 和堆叠等工艺环节，存储大厂纷纷加码 HBM 先进封装，提升 HBM 良率并降低功耗。SK 海力士凭借 MR-MUF 技术占据 HBM 市场份额，三星也在考虑将 MUF 用于 3DSRDIMM。

随着 AI 不断渗透云端/电商服务、智能制造、金融保险、智慧医疗及智能驾驶辅 助等行业，AI 服务器与高端 GPU 需求不断上涨，并有望持续推动 HBM 市场规模 增长。与传统 DRAM 相比，HBM 具备高带宽、高容量、低延时与低功耗等优势， 可以加快 AI 数据处理速度，更适用于 ChatGPT 等高性能计算场景。当前 ChatGPT 等 AIGC（生成式人工智能）模型需要使用 AI 服务器进行训练与推理，其中训练 侧 AI 服务器基本需要采用中高端 GPU，如 Nvidia A100/H100 等，其中 HBM 的 渗透率接近 100%；而推理侧随着 AIGC 模型逐渐复杂化，AI 服务器采用中高端 GPU 将是发展趋势，并有望持续推动 HBM 渗透率也将快速提升。根据 TrendForce，预计 2023 年 AI 服务器（包含搭载 GPU、FPGA、ASIC 等）出 货量近 120 万台，同比增长 38.4%，占整体服务器出货量近 9%，至 2026 年将占 15%，2022~2026 年 AI 服务器出货量年复合增长率至 22%。

HBM在人工智能领域的应用主要得益于其独特的技术优势，包括高带宽、高容量、低延迟和低功耗。HBM在人工智能领域应用的几个关键方面：

1. 高性能计算（HPC）：人工智能和机器学习算法通常需要处理大量数据和复杂的计算任务。HBM提供的高带宽允许快速的数据传输速度，这对于HPC系统来说是至关重要的，可以显著提高计算效率。

2. 深度学习训练：深度学习模型，特别是大型神经网络，需要巨大的内存带宽来支持其训练过程。HBM的高带宽特性可以加速模型训练，减少训练时间，使得使用更大更复杂的模型成为可能。

3. 推理加速：在AI推理阶段，快速响应是关键。HBM的低延迟特性有助于提高推理速度，使得AI系统能够实时处理信息并快速做出决策。

4. 数据中心优化：数据中心需要处理和存储海量数据。HBM的高容量和低功耗特性使其成为数据中心优化存储解决方案的理想选择，有助于构建高效能、低能耗的数据中心。

5. 边缘计算：随着物联网（IoT）设备和5G技术的普及，边缘计算变得越来越重要。HBM的紧凑设计和高性能使其适合于边缘设备，这些设备需要在本地处理数据以减少延迟。

6. 自动驾驶汽车：自动驾驶汽车需要实时处理大量传感器数据。HBM的高带宽和低延迟特性对于实现快速、准确的数据处理至关重要，有助于提高自动驾驶系统的安全性和可靠性。

7. AI芯片和加速器：许多专门为AI设计的芯片和加速器，如谷歌的TPU（Tensor Processing Unit）和英伟达的GPU，都采用了HBM技术来提高其性能。

8. 内存墙问题的缓解：随着模型参数量的增加，内存带宽成为了限制计算效率的一个瓶颈。HBM的高带宽特性有助于缓解这一问题，提升系统的整体性能。

方向一：关注国内与HBM上下游相关产业链厂商。23年是AI训练的元年，24年将是AI推理的元年，主要归因于海外有望持续推出包括Sora在内的AI应用产品，叠加国内国央企发力AI应用，这将有力带动AI推理的需求。芯片领域，算力和存储是两个率先受益的领域，特别是在当前国产化大趋势下，算力和存储将决定未来十年AI胜负的关键，国产HBM未来有较大的需求空间，国内与HBM相关产业链的公司有望加速发展。

方向二：HBM对DRAM先进制程造成排挤效应，有望推动主流DRAM持续涨价，重点关注存储模组。归因于三个方面：（1）三大原厂继存储器合约价翻扬后，开始加大先进制程的投片，产能提升将集中在24年下半年；（2）受益于AIPC、AI手机和服务器持续升级，预期今年DDR5、LPDDR5(X)渗透率增加至50%，将消耗更多DRAM先进制程产能；（3）由于HBM3e出货将集中在今年下半年，期间同属存储器需求旺季，DDR5与LPDDR5(X)市场预期需求也将看增，但受到2023年亏损压力影响，原厂产能扩张计划也较谨慎。在各家优先排产HBM情况下，有望导致DRAM产能紧张，重点建议关注受益于主流存储涨价逻辑的存储模组公司以及相关的存储封测和材料公司。

方向三：存储大厂产能转向DDR5/HBM，有望加速退出利基存储市场，将为国内利基型存储芯片厂商带来发展机会。由于三大厂商加大投入HBM与主流DDR5规格内存，有望减少供应DDR3等利基型DRAM的供应，而随着终端需求复苏，利基市场有望迎来短期的产能紧缺，价格有望迎来上扬，核心建议关注国内利基存储厂商。