ChatGPT行业报告：看中国大语言模型产业发展（29页）

行业报告下载 2023年05月29日 07:39 管理员

相比之前的生成式对话产品，ChatGPT（Chat Generative Pre-trained Transformer ）在大范围连续对话能力、生成内容质量、语言理解能力和逻辑推理能力上都得到大幅提升，超出了大众对于一款聊天机器人的预期，是生成式AI（AIGC）极为关键的发展节点。作为一款生成式预训练大语言模型，“Chat”指向它的功能，“Generative”代表它属于生成式算法。生成式算法在过去数年中受制于RNN的内生缺陷始终发展缓慢，直到2017年 “Transformer”架构出现并解决了传统RNN模型的问题，生成式AI才开始在预训练的Transformer架构之上焕发生机，NLP、CV甚至多模态领域通用基础大模型飞速演进。在模型参数量几何级数增长以及多种训练方式的探索之中，ChatGPT横空出世，也标志着通用基础大模型将突破NLP领域以小模型为主导的传统发展范式。ChatGPT具有的惊人效果，是在超大预训练语言模型GPT-3.5基础上，进一步根据人的需求目标进行模型调优的结果。巨大的参数量和预训练数据量让GPT-3.5成为一颗储备了大量知识，并且具备语言生成能力的混沌“大脑”，再使用人类反馈强化学习（RHLF）的方法进行指令精调，将模型的各项能力激活，并以符合人类的需求、偏好和价值观的方式有效释放，同时大大提升了模型应对从未见过的新指令的能力。

此外，ChatGPT在逻辑推理、上下文理解等方面的能力，是模型参数量达到该量级后“涌现”出的，即所谓的“大力出奇迹”，这一现象在其他预训练大模型中也得到了印证。ChatGPT的成功是一场初心+资源加持下的长期主义的胜利，GPT模型正是在密集烧钱策略后出现的，而ChatGPT这一明确指向商业化的产品则显然受到OpenAI从非营利向半营利转型的发展路径影响。与ChatGPT功能对标的大语言模型(Large Language Models, LLMs)，目前国外主要有Google推出的Gopher、LaMDA 以及Meta的Llama等；国内为百度首发的“文心一言”、360发布的大语言模型、阿里发布的“通义千问”、商汤发布的 “商量”等。虽从对话和文本生成的直观体验看ChatGPT略胜一筹，但对于Google等国外大厂而言，克隆ChatGPT并不存在太高壁垒，当前暂时落后主要是出于公司战略与技术理念差异，选择了不同技术路线，随着各家探索成果和新技术方法的实践不断推进，仍存在对GPT系列模型赶超的可能。对百度等国内大厂而言，则在数据、算力、工程化能力等关键要素上存在短板，短期内难以对国外领先大模型实现赶超，为跟随者角色，长期更需要国内AI全产业链整体进化。