相对生成对抗网络RGAN实证报告（39页）

简言之，我们注意到 SGAN 在假样本被判定为真实的概率上升的同时，真样本被判定为真 实的概率并不会下降。事实上，正如广义 GAN 定义的第 3 点所提到的，所有非相对生成 对抗网络的𝑔̃1都无关紧要，因此都存在类似问题。不失一般性地，我们以 SGAN 为例， 从以下三方面论证“真样本被判定为真实的概率下降”的重要性。 1. SGAN 的判别器不具备“输入样本一半为假”的先验知识。 2. SGAN 的训练轨迹不能直接最小化 JS 散度。 3. 真样本对 SGAN 判别器梯度的影响随着训练的进行越来越小，判别器的学习趋于停滞。 判别器的先验知识 假设我们不考虑生成器无法影响真样本判别结果，在生成器训练阶段仍然向判别器输入真 样本。那么无论在判别器还是生成器训练阶段，判别器的输入均是一半真样本，一半假样 本。因此，判别器理应具备“输入样本一半为假”这一先验知识。 

然而，在 SGAN 生成器训练结束阶段，理想状态下生成器生成的样本能够“蒙骗”判别器， 因此判别器会把所有样本都判定为真。这显然违背了“输入样本一半为假”的先验知识。 这意味着在 SGAN 中，除非我们刻意增加判别器训练的难度（例如降低学习速率、正则化）， 否则判别器不会做出合理的判定。 如果时刻要求判别器具备这一先验知识，自然的想法是让判别器在真假样本之间进行取舍， 选取相对而言更真实的一半判定为真。为实现这种取舍，我们需要能够在生成器训练阶段 降低真样本被判定为真实的概率。进一步地说，理想状态下当生成器越来越强时，生成器 应能生成非常接近真实甚至更真实的数据。此时，判别器将混淆真假样本，在提高假样本 被判定为真的概率的同时，降低真样本被判定为真的概率。

由于基于 IPM 的 GAN 的判别器变换层 a(.)是恒等函数，无法限制判别器的输出，损失函 数可能很快趋于负无穷，梯度也随之爆炸。所以在实践中，我们希望 C 不易发散。事实上， 我们在《人工智能 35：WGAN 应用于金融时间序列生成》（20200828）中介绍的 WGAN 和 WGAN-GP 都属于基于 IPM 的 GAN。WGAN 通过限制网络参数变化范围，把ℱ限定为 满足 Lipschitz 条件的函数；而 WGAN-GP 通过增加梯度惩罚项，则把ℱ限定为梯度范数 接近于 1 的函数。 诸多研究（Arjovsky 等，2017；Gulrajani 等，2017；Mroueh 等，2017；Mroueh 和 Sercu，2017）表明，基于 IPM 的 GAN（如 WGAN 等）拥有优于 GAN 的表现。下一小 节我们将从损失函数梯度的角度分析基于 IPM 的 GAN 与 SGAN 有何不同。由于梯度是网 络训练过程中的直接影响因素，如果可以模仿基于 IPM 的 GAN 的损失函数梯度，那么就 有可能得到拥有相似优良表现的 GAN。