GPT-4专题报告：构建模型理解能力（48页）

行业报告下载 2023年05月05日 07:13 管理员

ChatGPT简介：由OpenAI研发的AI技术驱动的自然语言处理工具，于2022年11月30日发布。 GPT—Generative Pre-trained Transformer（生成预训练变换器），是openAI推出的一种用于处理自然语言文本大型神经网络模型。ChatGPT基于GPT-3.5模型构建、使用Transformer架构，通过连接大量的语料库来训练模型，在GPT大模型能力的加持下，ChatGPT对于文本、任务的理解能力有了新的飞跃，能根据聊天的上下文进行互动，做到与真正人类几乎无异的聊天场景进行交流。在聊天场景以外，ChatGPT还能完成撰写邮件、视频脚本、文案、翻译、代码等任务。ChatGPT 使用的GPT-3.5模型包含大量的语言数据，当用户输入问题时，GPT-3.5模型会根据语言数据生成回答候选集，并从中选择最佳回答，ChatGPT再将生成的回答以自然语言的形式输。

ChatGPT在基础语言模型的基础上，通过RLHF（从人类反馈中强化学习）训练，使用户的反馈可以即时反馈到模型上，形成自我学习能力，根据新数据不断迭代更新。模型训练过程主要分三步：1）收集提示信息和人工形成的任务示例，通过监督学习训练模型。2）将初始模型用在新的对比数据上，生成多个输出，人工对这些输出进行排序，排序结果用于训练奖励模型。3）使用PPO（Proximal Policy Optimization）深度强化学习算法训练奖励模型。过去计算机只能“模拟”，GPT-4 可以“理解”，更关注理解能力的构建。过去模型一定需要针对具体问题进行具体设计，如果表述不够“结构化”，模拟效果难以保证。现在GPT-4拥有理解能力，因此也带来了逻辑推演的能力，有更好的悟性，能应用于更多场景。MMLU，Massive Max Language Understanding，达到86. 4%（57个题），GPT 3是70%。