相对生成对抗网络RGAN实证报告（39页）

行业报告下载 2020年09月29日 08:41 管理员

简言之，我们注意到 SGAN 在假样本被判定为真实的概率上升的同时，真样本被判定为真实的概率并不会下降。事实上，正如广义 GAN 定义的第 3 点所提到的，所有非相对生成对抗网络的𝑔̃1都无关紧要，因此都存在类似问题。不失一般性地，我们以 SGAN 为例，从以下三方面论证“真样本被判定为真实的概率下降”的重要性。 1. SGAN 的判别器不具备“输入样本一半为假”的先验知识。 2. SGAN 的训练轨迹不能直接最小化 JS 散度。 3. 真样本对 SGAN 判别器梯度的影响随着训练的进行越来越小，判别器的学习趋于停滞。判别器的先验知识假设我们不考虑生成器无法影响真样本判别结果，在生成器训练阶段仍然向判别器输入真样本。那么无论在判别器还是生成器训练阶段，判别器的输入均是一半真样本，一半假样本。因此，判别器理应具备“输入样本一半为假”这一先验知识。

然而，在 SGAN 生成器训练结束阶段，理想状态下生成器生成的样本能够“蒙骗”判别器，因此判别器会把所有样本都判定为真。这显然违背了“输入样本一半为假”的先验知识。这意味着在 SGAN 中，除非我们刻意增加判别器训练的难度（例如降低学习速率、正则化），否则判别器不会做出合理的判定。如果时刻要求判别器具备这一先验知识，自然的想法是让判别器在真假样本之间进行取舍，选取相对而言更真实的一半判定为真。为实现这种取舍，我们需要能够在生成器训练阶段降低真样本被判定为真实的概率。进一步地说，理想状态下当生成器越来越强时，生成器应能生成非常接近真实甚至更真实的数据。此时，判别器将混淆真假样本，在提高假样本被判定为真的概率的同时，降低真样本被判定为真的概率。

由于基于 IPM 的 GAN 的判别器变换层 a(.)是恒等函数，无法限制判别器的输出，损失函数可能很快趋于负无穷，梯度也随之爆炸。所以在实践中，我们希望 C 不易发散。事实上，我们在《人工智能 35：WGAN 应用于金融时间序列生成》（20200828）中介绍的 WGAN 和 WGAN-GP 都属于基于 IPM 的 GAN。WGAN 通过限制网络参数变化范围，把ℱ限定为满足 Lipschitz 条件的函数；而 WGAN-GP 通过增加梯度惩罚项，则把ℱ限定为梯度范数接近于 1 的函数。诸多研究（Arjovsky 等，2017；Gulrajani 等，2017；Mroueh 等，2017；Mroueh 和 Sercu，2017）表明，基于 IPM 的 GAN（如 WGAN 等）拥有优于 GAN 的表现。下一小节我们将从损失函数梯度的角度分析基于 IPM 的 GAN 与 SGAN 有何不同。由于梯度是网络训练过程中的直接影响因素，如果可以模仿基于 IPM 的 GAN 的损失函数梯度，那么就有可能得到拥有相似优良表现的 GAN。