HBM高宽带内存技术研究报告：高带宽特性释放AI硬件性能（35页）

行业报告下载 2024年08月08日 06:16 管理员

当前诸如GPT-3等AI大模型所要求的算力日益提升，伴随着的是参数数量呈现指数级增长，为了计算及处理如此庞大规模的数据量，数据中心和边缘设备需要配套持续提升计算性能和降低功耗，随着对GPU/CPU 高负载工作频率需求不断增长，传统的内存带宽限制了硬件以及系统的最大性能，为了释放AI加速器最佳的硬件性能，市场急迫需要更高带宽的内存解决方案。从 DRAM主流细分产品的带宽发展来看，HBM（High Bandwidth Memory，高宽带内存）自身的内存带宽以及带宽提升速度均大幅领先于其他DRAM产品，有望成为AI时代中最重要的内存技术之一。AI时代下高带宽存储需求激增，HBM技术正步入快速发展阶段。HBM（High Bandwidth Memory，高宽带内存）采用硅通孔（TSV）技术将多个DRAM芯片进行堆叠，并与GPU一同进行封装，形成大容量、高位宽的DDR组合阵列，从而克服单一封装内的带宽限制。相较于传统DDR内存，HBM具有高带宽、低功耗、低延时等优势，已成为当前高性能计算、人工智能等领域的首选内存技术。以英伟达H100 SXM5为例，其集成了6颗HBM3，总容量达到80GB，内存带宽超 3TB/s，是A100内存带宽的2倍。