AI行业研究报告（34页）

行业报告下载 2024年12月20日 07:08 管理员

2024 年大模型厂商推出模型的速度仍在加快，大模型与小模型共存仍是解决模型能力上限和端侧推理的方案，各大模型厂商也会推出几 B 到 TB 级别的模型。随着大型模型训练成本的不断提升，且有更多像 Meta、Mixtral、阿里通义等公司的开源，模型预训练市场的玩家会快速缩小，针对特定任务的微调或者是 Agent 业务将会是更多中小模型厂商发展的重点。在当前算力和数据 Scaling Law 放缓的情况下，找到新的 Scaling Law 方向是明年模型发展的重点。 1.1 预训练和现实数据触顶，后训练时代将开启新的 Scaling Law 方向从 24 年年初开始有论文提出模型能力提升速度随着参数规模的扩大而放缓，到 11 月份 OpenAI 前首席科学家 Ilya 在公开场合表示简单地增加数据和计算能力来扩大当前模型规模的时代已经结束。但是，预训练的 scaling law 放缓不代表大模型发展速度和算力需求的放缓，就像是芯片 gate 的实际尺寸停滞在 20nm 并不影响等效 gate 密度达到目前的 3nm，广义的摩尔定律甚至比 20 年前更快，大模型也需要找到具有更高的投入回报比的新方向。

AI行业研究报告（34页）