算力研究报告：中国如何解决AI算力瓶颈问题（14页）

行业报告下载 2023年04月17日 07:19 管理员

我们认为算力是制约中国发展以 ChatGPT 为代表的大模型主要瓶颈之一。据 OpenAI，大模型训练所需算力每 3-4 个月增长 1 倍，增速远超摩尔定律（18-24 个月/倍）。随着 GPT-4 等下一代大模型出现，算力需求还有望进一步大幅增长。我们认为美国对华出口限制，主要造成中国先进工艺发展短期受限、国产替代方案或推高大模型训练成本/时间两大影响。中国发展高性能计算，应加大在：1）异构计算芯片架构；2）先进封装方面的投入。我们看到在长电、通富、盛合晶微、华峰、中芯国际等在先进封装领域，寒武纪、海光、芯原、燧原、沐曦等在异构计算（算力芯片、IP）等领域积极布局。影响#1：先进工艺对提升芯片性能至关重要，中国大陆发展短期受限发展先进制程意义在于持续提升晶体管密度，提升芯片性能、降低功耗。根据 WikiChip，台积电 5nm 芯片每平方毫米晶体管数量是 10nm 3.3 倍，16nm 5.9 倍，3nm 晶体管密度有望比 5nm 提升 70%，性能提升 11%，功耗降低 27%。美国限制 16/14nm 及以下先进逻辑工艺技术及设备向中国出口，对中国先进制程短期发展造成较大阻力。进入 3nm 制程以下，目前主流 FinFET 将走向物理极限，GAAFET 将成为主流技术，但美国对中国禁售相关 EDA 软件。

同时，荷兰 EUV 及先进 DUV 光刻设备目前均无法对中国出口。影响#2：A100 进口限制阻碍大模型发展，国内替代方案或推高成本 22 年 8 月美国限制英伟达、AMD 对华出口高端 GPU 芯片，尽管后来有替代版本 A800 推出，但由于对高速互联总线的带宽做部分裁剪，在使用性能和功耗上面仍与 A100 有部分差距。目前 H100 性能是 A100 的 4.5 倍，而 A800 理论性能相比 A100 降低约 1/3，随着算力需求不断增加，国内由于 A100 以上芯片的进口限制导致大模型训练时间/成本或显著提升，客观上阻碍了我国大模型的发展。因中国企业进行 14nm 以下半导体代工受到技术及设备限制，及美国限制海外代工企业为中国设计企业生产性能超过 A100 的芯片，短期内，中国芯片公司能够生产超过 A100 的 AI 芯片的难度也较高。路径#1：异构计算蓬勃发展，关注 GPU，DPU，存算一体等不同路径面对先进制程昂贵成本和日趋接近物理极限，仅靠工艺改进难以满足算力膨胀需求。异构计算从计算架构出发，充分利用计算资源并行分布，将不同制程/架构、不同指令集、不同功能硬件进行组合，成为解决算力瓶颈更为经济的方式。目前主流异构包括 1）GPU（英伟达/AMD），2）DPU（英伟达子公司 Mallonex），3）存算一体，4）自适应加速器（AMD）等路径。目前中国拥有海光、龙芯、鲲鹏等 CPU 公司，寒武纪、天数、燧原、芯动、登临等 GPU 公司及云豹智能、中科驭数等 DPU 公司，异构计算正蓬勃发展。