AI模型行业报告：LLaMA等开源模型，先进算法及行业数据重要性（16页）

行业报告下载 2023年05月25日 07:32 管理员

行业技术发展：Google 于 2017 年提出 Transformer，采用完全开源模式，凭借其性能优势统一了深度学习底层算法，为后续的大模型发展奠定技术基础。2018 年 BERT、 GPT-1 等生成式语言模型陆续发布，也采用完全开源模式，带动 AI 行业高速发展。生态构建：部分初创 AI 公司选择模型开源更多是出于自身生态建设的考虑。以 Stability AI 为例，公司成立于 2020 年，于 2022 年 9 月开源文生图模型 Stable Diffusion，成为目前 AI 绘画赛道的佼佼者。目前 Stability AI 已经在全球积累了超过 14 万名开发人员和 7 个研究中心社区，各渠道累计日活跃用户数超过 1,000 万，日益成熟的生态建设是推升公司估值的主要驱动力之一。目前 OpenAI、Google、Meta 等领先的头部 AI 大厂对于先进模型大多采用部分开源模式或仅开放使用。以 OpenAI 为例，我们可以管窥海外头部 AI 厂商正在逐渐由开源走向闭源： 2019 年及之前，OpenAI 以完全开源为主。

OpenAI 于 2018 年发布第一代生成式预训练模型 GPT-1 并对外完全开源；2019 年 2 月 GPT-2 论文发表，在模型规模和 Zero-shot 表现上提升较为明显，模型代码于同年 8 月开始分 4 批陆续对外开源。 2019 年 OpenAI成立盈利子公司 OpenAI LP，开始向盈利公司转变。2020 年 OpenAI 发布 GPT-3，并在论文中较为详细地介绍了模型训练情况，此外用户还可以通过 API 的方式调用模型资源，属于对外部分开源。GPT-3 的发布加快了 AI 落地进程，此后 OpenAI 逐渐向闭源转变。未来 OpenAI 可能采用仅开放使用模式。OpenAI 于 2022 年 11 月发布 ChatGPT，虽然官方未发布模型的具体论文，但目前 AI 开发者仍能从相关论文中获取技术路线信息，显著促进了行业技术的整体进步。2023 年 3 月，OpenAI 同步开放了 GPT-3.5 及语音识别翻译 Whisper 模型的 API。3 月 14 日，GPT-4 发布，目前也处于仅开放使用状态，尚未向外部公布任何技术细节。