3D行业报告：AI的下一个涌现（46页）

行业报告下载 2023年10月25日 06:41 管理员

涌现能力的定义：在小模型中没有表现出来，但是在大模型中变现出来的能力。涌现能力大概可以分为两种：通过提示就可以激发的涌现能力和使用经过特殊设计的prompt激发出的新的能力。无论哪种涌现能力，当模型规模超过一个临界值时，效果会马上提升。以LeNet和AE为例，涌现能力在CV计算机视觉任务中也有所体现。 LeNet是由Yann Lecun（2018年图灵奖得主创造，其在手写体字符识别领域创造性引入卷积神经网络，是CNN的发展起点，通过观察LeNet在MNIST 21上训练的结果，随着模型参数的增加，测试精度显示出不可预测的大幅增长；而在CIFAR100图像数据集上训练的自编码器（AE）随着模型参数的增加显示陡峭的均方重建误差变化。

扩散模型（diffusion models）成为2D生成模型中主流模型，逐渐领先于GAN、自回归模型，显著提高了图像生成的稳定性、准确性和多样性。并且扩散模型在诸多应用领域都有出色的表现，如计算机视觉，NLP、波形信号处理、多模态建模、分子图建模、时间序列建模、对抗性净化等。ImageNet数据集09年发布，目前包含约1500万张标注图像。ImageNet数据集由斯坦福大学教授李飞飞牵头从 2007年开始收集建立。2009年发布时包含有320万张图像，是当时最大的2D图像数据集。经过发展，ImageNet 数据集已拥有22000类约1500万张标注图像。 ImageNet来源于网络图像，借助众包平台（Mechanical Turk）完成。数据集的大量图像数据来自于日益增长的网络平台，考虑到手动标注工作的大量人力需求，研究团队借助于Mechanical Turk（亚马逊开发的众包平台）完成这项工作。