AI行业报告：瓶颈与机遇并存（34页）

行业报告下载 2024年12月23日 08:51 管理员

2024 年大模型厂商推出模型的速度仍在加快，大模型与小模型共存仍是解决模型能力上限和端侧推理的方案，各大模型厂商也会推出几 B 到 TB 级别的模型。随着大型模型训练成本的不断提升，且有更多像 Meta、Mixtral、阿里通义等公司的开源，模型预训练市场的玩家会快速缩小，针对特定任务的微调或者是 Agent 业务将会是更多中小模型厂商发展的重点。在当前算力和数据 Scaling Law 放缓的情况下，找到新的 Scaling Law 方向是明年模型发展的重点。 1.1 预训练和现实数据触顶，后训练时代将开启新的 Scaling Law 方向从 24 年年初开始有论文提出模型能力提升速度随着参数规模的扩大而放缓，到 11 月份 OpenAI 前首席科学家 Ilya 在公开场合表示简单地增加数据和计算能力来扩大当前模型规模的时代已经结束。但是，预训练的 scaling law 放缓不代表大模型发展速度和算力需求的放缓，就像是芯片 gate 的实际尺寸停滞在 20nm 并不影响等效 gate 密度达到目前的 3nm，广义的摩尔定律甚至比 20 年前更快，大模型也需要找到具有更高的投入回报比的新方向。 1.2 方向一：用推理代替思考 OpenAI 于 2024 年 9 月 12 日发布了新的 AI 模型系列 o1，这是 OpenAI 首个具有"逻辑推理"能力的模型系列，特别擅长处理复杂的推理任务，尤其是在科学、技术、工程和数学 (STEM)领域的问题，在这些领域其评测分数都远远超过 GPT-4o。o1 模型将计算资源从大规模预训练数据集重新分配到训练和推理阶段，增强了复杂推理能力，在费用和成本上也进行了重分配，使用 o1-preview 的 API 相比于 GPT-4o 输入 tokens 价格是 GPT-4o 的 5 倍（每百万 tokens $15.00：$3.00），输出 tokens 差距 o1-preview 的价格是 GPT-4o 的 6 倍（每百万 tokens $60.00：$10.00）。

AI行业报告：瓶颈与机遇并存（34页）