GPT行业报告：经典深度学习算法拆解（22页）

行业报告下载 2023年04月11日 07:58 管理员

常用的神经网络结构包括前馈网络、记忆网络和图网络。1）前馈网络：各个神经元按接收信息的先后分为不同的神经层，整个网络中的信息朝一个方向传播，没有反向的信息传播。 2）记忆网络：也称为反馈网络，网络中的神经元不但可以接收其他神经元的信息，也可以接收自己的历史信息，具有记忆功能记忆神经网络中的信息传播可以是单向或双向。3）图网络：是定义在图结构数据上的神经网络。每个节点都由一个或一组神经元构成，节点之间的连接可以是有向的，也可以是无向的。每个节点可以收到来自相邻节点或自身的信息。图网络是前馈网络和记忆网络的泛化。神经网络诞生于 1943 年，深度学习崛起于 2006 年。1943 年，心理学家 McCulloch 和数学家 Pitts 最早提出了一种基于简单逻辑运算的人工神经网络—MP 模型，开启了人工神经网络研究的序幕。1986 年，Hinton 提出第二代神经网络，并利用误差的反向传播算法来训练模型，该算法对神经网络的训练具有重要意义。1989 年，Yann LeCun 等提出卷积神经网络（CNN）用来识别手写体。1997 年，循环神经网络（RNN）的改进型长短时记忆网络（LSTM）被提出。2006 年，Hinton 首次提出了深度置信网络（Deep Belief Network，DBN）和深度学习的概念。

2014 年，生成对抗网络（GAN）的提出是深度学习的又一突破性进展。 2016 年，AlphaGo 击败围棋世界冠军李世石，将深度学习推向高潮。本报告以 2016 年之前几种典型的深度学习算法为研究对象，对其进行深度拆解和分析。主要算法包括：卷积神经网络（CNN）、循环神经网络（RNN）、生成对抗网络（GAN）、深度强化学习（Deep Reinforcement Learning，DRL）。此外，深度学习还包括很多其他算法和模型，例如深度信念网络、概率图模型、序列生成模型等。前馈神经网络是最早发明的简单人工神经网络。神经网络是一种典型的分布式并行处理模型，通过大量神经元之间的交互来处理信息，每一个神经元都发送“兴奋和抑制”的信息到其他神经元。前馈神经网络（FNN）也经常称为全连接神经网络（Fully Connected Neural Network，FCNN）或多层感知器（Multi-Layer Perceptron，MLP）。在前馈神经网络中，各神经元分别属于不同的层，每一层的神经元可以接收前一层神经元的信号，并产生信号输出到下一层。其中，第 0 层称为输入层，最后一层称为输出层，其他中间层称为隐藏层。整个网络中无反馈，信号从输入层向输出层单向传播。