机械设备行业报告：ChatGPT如何改变机械行业（34页）

行业报告下载 2023年04月08日 07:47 管理员

结合人工智能的发展历程和 AI 框架的技术特性来看，AI 框架的发展大致可以分为四个阶段，分别为萌芽阶段（2000 年初期）、成长阶段（2012~2014 年）、稳定阶段（2015 年~2019 年）、深化阶段（2020 年以后）。其发展脉络与人工智能，特别是神经网络技术的异峰突起有非常紧密的联系。ChatGPT是一种由OpenAI开发的大型语言模型，目的是为人类提供更智能的对话体验，它可以对各种自然语言的输入进行理解和生成适当的响应，T可以应用于包括自然语言生成、聊天机器人、语音识别、机器翻译、智能客服等多种领域。GPT即生成型预训练变换模型（Generative Pre-trained Transformer），是解决NLP（自然语言处理）任务的训练模型之一。 GPT模型采用了Transformer架构，其中包含了多个自注意力机制和前馈神经网络层，以实现对序列数据的建模和处理。

GPT模型的预训练过程采用了基于掩码的语言模型任务，即通过在序列中随机掩盖一部分单词，让模型来预测被掩盖的单词，从而学习到单词之间的上下文关系。大模型，又称为预训练模型、基础模型等，是“大算力+强算法”结合的产物。大模型通常是在大规模无标注数据上进行训练，学习出一种特征和规则。基于大模型进行应用开发时，将大模型进行微调，如在下游特定任务上的小规模有标注数据进行二次训练，或者不进行微调，就可以完成多个应用场景的任务。相比传统 AI 模型，大模型的优势体现在：1）模型的泛用性提升；2）具备自监督学习功能，训练成本降低；3）数据规模大，模型精度提升。从技术角度看，目前大模型已经深入各个AI领域，如NLP、CV、科学计算等，但它最早发端于NLP，以谷歌的BERT、OpenAI 的GPT和百度文心大模型为代表，参数规模逐步提升至千亿、万亿，同时用于训练的数据量级也显著提升。