HBM是一种基于3D堆叠工艺的DRAM内存芯片，它就像摩天大厦中的楼层一样可以垂直堆叠。基于这种设计，信息交换的时间将会缩短。这些堆叠的数颗DRAM芯片通过称为“中介层（Interposer）”的超快速互联方式连接至CPU或GPU，最后可将组装好的模块连接至电路板。

　　HBM的架构 图源：AMD

　　HBM重新调整了内存的功耗效率，能大幅提高数据处理速度，是当下速度最快的DRAM产品，其每瓦带宽比GDDR5高出3倍还多，且HBM比GDDR5节省了94%的表面积。

　　目前，HBM主要被安装在GPU、网络交换及转发设备（如路由器、交换器）、AI加速器、超级计算机及高效能服务器上。

　　首尔业界消息称，SK海力士为英伟达供应第三代HBM，搭配英伟达的A100 GPU供ChatGPT使用。另外，英伟达已经将SK海力士的第四代HBM安装至H100，而H100已开始供应ChatGPT服务器所需。

　　另一方面，三星已开发出具运算能力的HBM，不但能储存数据、还能运算数据。三星已在2022年10月向AMD供应该产品，用于AI加速器。

　　首尔业界透露，如今第三代HBM报价飞涨，已是效能最高的DRAM产品的五倍之多，其市场成长率是三星、SK海力士原本预测的两倍以上。

　　▌高算力AI应用呼唤高性能内存芯片

　　ChatGPT等高算力AI应用的火爆将基础设施端逐渐推向前台。

　　三星内存副总裁Kim Jae-joon曾说，ChatGPT等基于自然语言技术的交互式AI应用的发展有利于提升内存需求。高效且大量的运算能力、高容量的内存，是AI学习与推论模型的根基。

　　目前，搭载于新兴AI应用的内存芯片亟待升级。

　　首先，ChatGPT这类生成式AI应用需要在海量的训练数据中进行学习，才能实现高质量的生成输出。为了实现关键词识别、图像识别等功能，AI模型需要存储大量的图片和音频信息。

　　其次，面向C端用户的AI应用必须具备快速处理数据的能力，才能向用户实时输出AI计算结果，因此也对内存芯片的数据传输速度提出了更高要求。

　　与此同时，随着人工智能技术的进一步普及，越来越多的AI应用发生在移动设备和物联网终端设备上，而这些设备大多采用电池供电或充电，对功耗十分敏感。

　　如此一来，以HBM为代表的超高带宽内存技术有望成为相关加速芯片的必然选择，同时生成类模型也会加速HBM内存进一步增大容量和增大带宽。

　　除了HBM之外，CXL（计算快速链接）等新的存储技术加上软件的优化也有将在这类应用中增加本地存储的容量和性能，估计会从生成类模型的崛起中获得更多的工业界采用。

　　据《科创板日报》不完全统计，A股已有澜起科技(行情688008,诊股)、国芯科技(行情688262,诊股)、通富微电(行情002156,诊股)等厂商有相关技术布局。