中国AIGC商业潜力研究报告（62页）

行业报告下载 2023年08月05日 06:31 管理员

预学习的出现解决了过去生成式大模型的痛点，但预学习本身存在模型尺寸、小样本数量、微调能力的不可能三角，解决方法也不尽相同：对于极大模型，使用知识蒸馏；对于少样本学习能力，进行数据增强；对于监督训练表现欠佳的模型，进行提示学习。以GPT为例，在目前阶段，厂商通常的做法是扩大模型尺寸。在AIGC概念实际落地的过程中，只有基础大模型与通用技术是远远不够的，还需要能与场景融合匹配，更需要支持应用落地的工具平台和开放包容的创新生态，三者协同优化，加速AIGC落地。

在全应用流程中，主要通过大量的无标注文本进行共性学习，获得预训练大模型，此后再根据应用场景特征进行微调，更好与项目任务适配。相比于信息模态单一的单模态模型，多模态模型可以同时处理更多模态的信息并将它们相互转化。现今多模态模型以图文多模块为主。Transformer虽受制于单模态但其权重共享适用于多模态；ViT模型处理输入图片，使得Transformer可用，从而打破NLP和CV间屏障；BEiT将生成式预训练从自然语言处理迁移到了计算机视觉；扩散模型多用于文本图像生成。多模态在视频分类、情感分析、语音识别等领域都得到了广泛应用，涉及图像、视频、语音、文本等融合内容，未来还将进入交互、感知、内容等更多应用场景。

中国AIGC商业潜力研究报告（62页）