近期海外大厂先后发布财务报告,并披露了在AI领域的商业化进展。以微软、谷歌、Meta和亚马逊为代表,海外AI大厂在大模型、云计算、搜索及广...
2023-10-05 77 人工智能AI行业报告
模型、算力、生态推动为 AI 应用进入大爆发时代: 1)算法及模型的快速进步:2017 年 Transformer 模型及 2022 年 ChatGPT 的发布标志着 GenAI 在文本领域的重大飞跃,并在多项能力上超越了人类基准,随着未来更强大的语言大模 型(如 GPT-5),以及多模态大模型和视觉大模型的技术突破,将带动 AI 应用的持续进化。 2)算力基础设施将更快、更便宜:虽然短期内大模型训练需求的激增导致了算力成本的持 续上涨,但是随着英伟达算力芯片的不断更新迭代,微软、亚马逊、谷歌等在 AI 云服务资本开 支的不断加大,AI 应用的发展将得到更加强有力的支撑。 3)AI 生态的逐渐成熟:AI 组件层(AI Stack)的完善和产业分工细化,为 AI 应用在模型 训练、数据整合、应用开发、应用部署等环节提供全生命周期的支撑。本轮生成式 AI 的技术的最大突破来自于底层大模型,GPT 作为当前全球最强大的语言大模 型,从 2018 年 5 月 GPT 初代版本,到 2023 年 3 月的 GPT-4,仅 5 年时间模型的性能就产生 了质的飞跃。
在 GPT 模型快速进化的背后,一方面是对训练方法的持续迭代,从 GPT-1 的半监 督式学习,到 GPT-2 舍弃了微调阶段,再到 GPT-3 的 In-context 学习和海量参数,以及引入了 基于人工反馈的强化学习之后的 ChatGPT;另一方面,在模型参数规模扩大背后,是 OpenAI 对研发和算力的持续高投入,通过“大力出奇迹”的方式,支撑了模型参数和训练数据的快速膨 胀。GPT-4 相较于之前版本的 GPT 模型,在推理能力、文本生成能力、对话能力等方面有了大 幅提升之外,在许多能力上已经超越了人类基准。同时大模型作为能够在海量、广泛、非结构化 数据集(例如文本和图像)上进行训练的大规模深度学习模型,它的强大之处不仅在于文本生成, 大模型可以适应各类不同的任务,不仅可以用于聊天机器人,同时也可以用来创建新的蛋白质序 列,并且当前已经成为了图像、代码、音频、音乐、视频和 3D 模型等各种模态应用的底层框架。
标签: 人工智能AI行业报告
相关文章
近期海外大厂先后发布财务报告,并披露了在AI领域的商业化进展。以微软、谷歌、Meta和亚马逊为代表,海外AI大厂在大模型、云计算、搜索及广...
2023-10-05 77 人工智能AI行业报告
Transformer的应用标志着基础模型时代的开始(基础模型的庞大规模和应用范围突飞猛进),模型参数量指数级增长,带动算力超过摩尔定律,可以称为A...
2023-10-02 57 人工智能AI行业报告
三类芯片代表分别有英伟达(NVIDIA)的GPU、赛灵思的FPGA和Google的TPU。GPU的计算能力最强,但是成本高、功耗高;FPGA可编程,...
2023-10-01 69 人工智能AI行业报告
中国监管机构从2021年起加强了对人工智能的监管,并陆续发布了《互联网信息服务算法推荐管理规定》(“算法推荐规定”)《互联网信息服务深度合成管...
2023-10-01 45 人工智能AI行业报告
ChatGPT核心技术主要是基于人工反馈的强化学习(RLHF),具体实现上,人类标注人员扮演用户和代理进行对话,产生对话样本并对回复进行排名打分,将...
2023-09-29 79 人工智能AI行业报告
最新留言