满足飞速发展的深度神经网络对芯片算力的需求,昇腾AI处理器本质上是一个SoC(System on Chip)。以昇腾310 AI 处理器为例,主要可以...
2025-03-29 8 电子行业报告
HBM 主要用于 AI 和网通芯片。当代电子计算体系的表现完全依赖于处理器和内存的 相互配合,而来到了 AI 时代,大模型处理数据的吞吐量更是呈指数级增长,要想支撑如此 庞大的数据处理和传输,对内存就提出了更高的带宽需求。HBM 突破了内存容量与带宽瓶 颈,打破了“内存墙”对算力提升的桎梏,其具备高带宽、低功耗的特点,面对 AI 大模型千 亿、万亿的参数规模,服务器中负责计算的 GPU 几乎必须搭载 HBM。 高带宽是 HBM 的最大优势。HBM(High Bandwidth Memory,高带宽内存)是将多个 DDR 芯片堆叠后,和 GPU 封装在一起,实现大容量、高位宽的 DDR 组合阵列。通过增加 带宽、扩展内存容量,让更大的模型、更多的参数留在离核心计算更近的地方,从而减少内 存和存储解决方案带来的延迟。从技术角度看,HBM 使 DRAM 从传统 2D 转变为立体 3D, 充分利用空间、缩小面积,契合半导体行业小型化、集成化的发展趋势。目前全球 HBM 产能主要用于满足 Nvidia 和 AMD 的 AI 芯片需求。尽管内存制造商投 入大量资金扩产,但由于需求激增,HBM 的短缺状况继续恶化。占据全球 GPU 市场 80% 以上份额的 Nvidia 将于 2024 年第二季度开始量产 GH200 Grace Hopper Superchip,这是一 款采用 HBM3E 的新一代 AI 芯片。Nvidia 的 HBM 需求预计将从 2023 年大约 1200 万颗翻 倍增长到 2024 年 2400 万颗。 随着大型互联网客户自研 AI 芯片陆续推出,HBM 客户群预计将大幅扩容。除了 Nvidia 之外,HBM 的潜在客户数量也在快速增加,其中包括 Google、AWS 和 Meta 等正在积极自 研 AI 芯片的科技巨头。2023 年 8 月,谷歌推出了其内部 AI 张量处理单元(TPU)v5e,而亚 马逊正在通过 AWS 大力开发自己的芯片。
标签: 电子行业报告
相关文章
满足飞速发展的深度神经网络对芯片算力的需求,昇腾AI处理器本质上是一个SoC(System on Chip)。以昇腾310 AI 处理器为例,主要可以...
2025-03-29 8 电子行业报告
GPMI是音视频产业的创新成果和核心技术突破,它集视频传输、数据交互、网络连接和供电等功能于一体,实现了一个接口即可支持“超高清视频+数据+控制+供电...
2025-03-27 24 电子行业报告
在人工智能的浪潮中,端侧 大型语言模型(On-Device LLMs)迅猛发展且具备广 泛的应用前景。自2023年 起,随着参数量低于10B的 模型系...
2025-03-27 26 电子行业报告
AI 行业发展至今,已从大模型训练阶段向推理阶段迈进,从 2024 年初 OpenAI 推出的 Sora 视频大模型,到随后的 O1 草莓大模型,乃至...
2025-03-25 30 电子行业报告
领航全球芯纪元,四十年铸就晶圆代工龙头。台积电是全球首家的集成电路 晶圆代工厂,也是目前最大的晶圆代工公司,其主要业务包括晶圆制造、封装、 测试和技术...
2025-03-09 78 电子行业报告
麦克风诞生至今已近150年,行业成熟度高。近年来,互联网内容创作领域对麦克风 的需求井喷,为麦克风市场带来新机遇,互联网麦克风有望引领行业未来发展方向...
2025-02-28 28 电子行业报告
最新留言