深度学习从入门到精通——生成对抗网络原理

GANs本质上在做的事情

我们假设把每一个图片看作二维空间中的一个点，并且现有图片会满足于某个数据分布，我们记作()。以人脸举例，在很大的一个图像分布空间中，实际上只有很小一部分的区域是人脸图像。如上图所示，只有在蓝色区域采样出的点才会看起来像人脸，而在蓝色区域以外的区域采样出的点就不是人脸。今天我们需要做的，就是让机器去找到人脸的分布函数。具体来说，就是我们会有很多人脸图片数据，我们观测这些数据的分布，大致能猜测到哪些区域出现人脸图片数据的概率比较高，但是如果让我们找出一个具体的定义式，去给明这些人脸图片数据的分布规律，我们是没有办法做到的。但是如今，我们有了机器学习，希望机器能够学习到这样一个分布规律，并能够给出一个极致贴合的表达式。

简单来说, 就是我们有一个生成器 $P_G$ 和一组参数 $\theta$, 我们还有从真实分布 $P_{\text{data }}(x)$ 中采 样出的数据 $\left\{x^1,x^2,\dots x^m\right\}$, 我们不知道数据的真实分布具体长什么样, 但是我们希望不断地调 整 $P_G$ 和 $\theta$, 让 $P_G(x;\theta )$ 越接近 $P_{\text{data }}(x)$ 越好。具体的做法是, 对于每一组参数 $\theta$ 和真实分布的 抽样 $x^i$, 我们能够计算出参数 $\theta$ 下的生成器生成该真实抽样 $x^i$ 的 likelihood, 于是我们希望找 到一个最佳的参数组 ${}^{\ast }$, 使得生成器的结果最接近 $P_{\text{data }}(x)$, 也就是对于每个真实抽样 $x^i$ 的 likelihood 都最大, 这等价于所有真实抽样 $x^i$ 的 likelihood 的乘积最大, 那原始问题就转换为 如下这个最大似然问题：
$$L=\prod _{i=1}^m{P}_G\left(x^i;\theta \right)$$
下面我们需要求解这个maximizing the likelihood问题，我们先证明，它其实等价于求minimize KL Divergence（KL Divergence是一个衡量两个分布之间的差异的计算式）问题。实质，最小化分布之间的差距。，模型学习的是真实数据的分布。

要求

我们需要训练出这样的 生成器, 对于一个已知分布的数据 $z$, 它可以把数据 $z$ 转化成一个末知分布的数据 $x$, 这个 末知分布可以与 $z$ 所在的分布完全不一样, 我们把它称作 $P_G(x)$, 并且我们希望 $P_G(x)$ 与 $P_{\text{data }}(x)$ 之间的散度距离 (Divergence, 下称 Div) 越小越好。如果能找到这样的 $P_G$, 那也就 意味着我们找到了真实数据分布 $P_{\text{data }}(x)$ 的近似解, 也就意味着我们能够生成各种各样符合 真实分布规律的数据。

产生问题

JS Div距离偏差问题

判别器：最大化̃求解$P_{\text{data }}(x)$ 与 $P_G(x)$ 之间的JS Div距离。

生成器：最小化̃求解最小化与之间的JS Div距离。

• 生成器训练一次：

  

  假设上面这张图是判别器训练完成之后, 找到了 $D=D_0^{\ast }$ 使得 $V\left(G_0,D\right)$ 最大, 接下来我们
  开始训练生成器部分。
  假设训练了一次生成器之后, $G_0$ 变成 $G_1,V\left(G_0,D\right)$ 变成了下图的 $\vee \left(G_1,D\right)$ 。、

  

  因为在训练生成器的时候我们是固定 $\mathrm{D}$ 的, 但是我们可以看到在生成器时，经过微调后的 $D_0^{\ast }$将 不再是让 $\mathrm{V}\left(G_1,D\right)$ 达到最大值的解, 也就是说从这时开始, 把 $\mathrm{D}=D_0^{\ast }$ 代入 $\mathrm{V}(\mathrm{G},D)$ 中计算出的值不再等 于 $P_{\text{data }}$ 与 $P_G$ 之间的 JS Div 距离（只有Max V $(\mathrm{G},D)$ 才等于 JS 距离), 那么在接下来在继续训 练生成器的过程中, minimize 的值就不再会是 $P_{\text{data }}$ 与 $P_G$ 之间的 JS Div 距离了。

  训练速度问题

  ​ GAN中，判别器对于仿造数据的处理式是：
  $$E_{x\sim P_G}[\log (1-D(x))]$$
  我们注意到, $\log (1-D(x))$ 这个表达式, $-$ 开始减得很慢, 后面减得很快, 我们不妨与 $-\log (\mathrm{D}(\mathrm{x}))$ 这个表达式对比一下:

  

  ​ 一开始判别器是很容易鉴别仿造数据的, 因此 D(x)的初始值是在靠近 0 的左端。而对于刚开始训练的模型, 我们希望在初期 D $\mathrm{x}$ )能够快速地更新, 但不幸的是, 目标函数 $\log (1-\mathrm{D}(\mathrm{x}))$ 左端刚好是平缓的区域, 依据梯度下降原理这会阻碍 D(x)的快速更新。为了解决这一问题, 有人提出了把 $\log (1-\mathrm{D}(\mathrm{x}))$ 这个表达式换成 $-\log (\mathrm{D}(\mathrm{x}))$, 同样能满足判别器的目标函数要求, 并且在训练初期还能更新得比较快。上述方法便是在这个非常小的地方做了改进。不过后来, 人们为了区分这两种 GAN,还是分别起了不同的名字。第一种 GAN 被叫做 MMGAN (Minimax GAN), 它也是人们常说的原始 GANs； 第二种 GAN 被叫做 NSGAN (Non-saturating GAN)。

  JS Div距离偏差问题

  ​ 可以通过限制训练次数来解决。对于判别器, 理论上我们需要让它训练非常多 次, 直到判别器找到的 $D_0^{\ast }$ 是 $\mathrm{ArgMax}V(\mathrm{G},D)$ 的全局最大解, 这样 $D_0^{\ast }$ 在传给生成器时才能保证 $\mathrm{V}(\mathrm{G},D)$ 是 $P_{\text{data }}$ 与 $P_G$ 之间的 JS Div 距离; 而对于生成器, 我们限制它只能训练 1 次, 这是为 了防止训练完一次后 $\mathrm{V}(\mathrm{G},D)$ 发生变化导致 $D_0^{\ast }$ 不再是 $\mathrm{ArgMaxV}(\mathrm{G},D)$ 的解。于是原始的算法优 化为如下算法:

  

  不过, 在实际操作中我们往往不会非常多次地训练判别器, 因为找到真正的解 $D_0^{\ast \text{ 需要的 }}$ 训练次数太多, 为了减小训练代价我们只会训练 $\mathrm{k}$ 次, 找到 $D_0^{\ast }$ 的近似解 $D_0^{\sim }$ 即可停止。所以 在实际的应用中, 我们计算的都是 JS Div 的近似值, 最终 GANS 学到的是近似分布而不是数 据的真实分布, 这是我们需要明白的地方。

FGAN—深度理解GAN理论

观点

任何的Div（统称为f-Div）都可以被放到GANs的架构中去。

推导

设定P和Q是两个不同的分布， p(x)和 q(x)代表着分别从P和Q 采样出x的几率，则我们将f-Div 定义为：
$$D_f(P\Vert Q)={\int }_{x}q(x)f{\left(\frac{p(x)}{q(x)}\right)}_{\Theta }dx$$
上述公式衡量P和Q有多不一样，公式里边的函数f可以是很多不同的版本，只要 f满足以下条件：它是一个凸函数同时 f(1)=0 。 稍微分析一下这个公式：

• 假设对于所有的 x来说，都有 p(x)=q(x)，则有D�(P,Q)=0，也就是意味着两个分布没有区别，和假设一样。

• 同时 0 是$D_f$能取到的最小值：

• $$D_f(p\Vert q)={\int }_{x}q(x)f\left(\frac{p(x)}{q(x)}\right)dx\ge f\left(\int q(x)\frac{p(x)}{q(x)}dx\right)=f(1)=0$$

  也就是说, 只要两个分布稍有不同, 就能通过 ${\mathrm{D}}_f$ 得到的正值反映出来。这个时候我们 发现之前常用的 KL Div 其实就是 F Div 的一种。

  当你设置 f(x)=xlogx，即将 F Div 转换为了 KL Div 了。
  $$D_f(P\Vert Q)={\int }_{x}q(x)\frac{p(x)}{q(x)}\log \left(\frac{p(x)}{q(x)}\right)dx={\int }_{x}p(x)\log \left(\frac{p(x)}{q(x)}\right)dx$$

  当你设置 $\mathrm{f}(\mathrm{x})=\mathrm{x}\log \mathrm{x}$, 即将 $\mathrm{F}$ Div 转换为了 $\mathrm{K}\mathrm{L}$ Div 了。

$$D_f(P\Vert Q)={\int }_{x}q(x)\left(-\log \left(\frac{p(x)}{q(x)}\right)\right)dx={\int }_{x}q(x)\log \left(\frac{q(x)}{p(x)}\right)dx$$

不只是JS Div，任何的Div（统称为f-Div）都可以被放到GANs的架构中去。

JS Div不是最佳的Div

• 大多数情况下 $P_G$ 与 $P_{\text{data }}$ 是没有重合的。

  • 因为一方面, 从理论上来说, $P_G$ 与 $P_{\text{data }}$ 都属于高维空间中的低维流形, 者具有重合的可能性是非常低的；

  • 从实际上来看, 即算 $P_G$ 与 $P_{data}$ 的分布有 了重合区域 (如下左图), 但是在实际训练中我们是从 $P_G$ 与 $P_{\text{data }}$ 中取的采样, 这些采样形 成的分布很有可能是互不相交的(如下右图), 我们仍然能找到一条分割线将 $P_G$ 与 $P_{\text{data 完美 }}$ 分割开来（如右图中的黑线）。所以我们可以认为, 大多数情况下 $P_G$ 与 $P_{\text{data }}$ 是没有重合 的

    

那如果 $P_G$ 与 $P_{\text{data }}$ 是没有重合的，然后用 JS Div 去衡量 $P_G$ 与 $P_{\text{data }}$ 的距离的话, 就会造成 如下障碍:

在上图中可以看出，0与1都与没有交集，但是1与的距离比0与的距离近，然而用 JS Div 去衡量二者的距离却是一样的，都为 log2，这是我们认为 JS Div 不合理的地方，因为实际情况是Div(1 ,)应当比Div(0 ,)要小，才能反映出1 与比0 与要靠的更近。有必要说明一下，为什么如果两个分布完全没有重合的话，那么这两个分布的 JS Div 会是一样的。前面有提到，JS Div 是通过判别器计算出来的，而判别器的本质是二分类器，只要与完全没有重合，判别器就能 100%地鉴别出()与()的差异，因此二者的 JS Div 就是一样的。

LSGAN

最小二乘法GAN

• 出现的问题是什么？

  只要与完全没有重合，判别器就能 100%地鉴别出()与()的差异，因此二者的 JS Div 就是一样的。

• 解决思路

  1. 让判别器始终都不能 100%地鉴别出()与()的差异，这样即便与完全没有重合，二者的 JS Div 也会不一样，而只要 Div 存在差异，就能反映出的优劣度来。

这是判别器训练得太好的例子，色样本点，是生成样本，它们的得分为 0；绿色样本点，是真实样本，它们的得分为 1；当轮到生成器训练的时候，它希望蓝色的点能够向右移，但是因为对于所有蓝色点，判别器计算出的 JS Div 都是一样的，这意味着所有点的梯度都是 0，生成器无法更新。

• 如何限制判别器训练

  换个差的判别模型，聪明的训练的太好，那就直接弄个差的。例：判别器的最后的 sigmoid 激活层改成 linear 激活层

• 遗留个问题：如何去更好地测量与之间的 Div

WGAN

解决问题

如何去更好地测量与之间的 Div

​ WGAN 的全称是 WassersteinGAN，它提出了用 Wasserstein 距离（也称 EM 距离）去取代JS 距离，这样能更好的衡量两个分布之间的 Div。我们先介绍一下什么是 EM 距离。

EM距离

​ EM 距离的全称是 EarthMover（推土距离），它的定义非常直观：假设有两堆数据分布 P和 Q，看作两堆土，现在把 P 这堆土推成 Q 这堆土所需要的最少的距离就是 EM 距离。

假设 P 的分布是上图棕色柱块区域，Q 的分布是上图绿色柱块区域，现在需要把 P 的分布推成 Q 的分布，我们可以制定出很多不同的 MovingPlan（推土计划）。

这些不同的推土计划都能把分布 P 变成分布 Q，但是它们所要走的平均推土距离是不一样的，我们最终选取最小的平均推土距离值作为 EM 距离。例如上面这个例子的 EM 距离就是下面这个推土方案对应的值。

那为了更好地表示这个推土问题，我们可以把每一个 moving plan 转化为一个矩阵图：

每一个色块表示 P 分布到 Q 分布需要分配的土量（移动距离），那每一行的色块之和就是 P 分布该行位置的柱高度，每一列的色块之和就是 Q 分布该列位置的柱高度。于是我们的求解目标表达式就如下所示：

表达式中γ函数计算当前计划下到的推土量，||-||表示二者间的推土距离。 那如果这个时候我们想直接求解这个表达式的话，是非常麻烦的，因为需要穷举所有的moving plan 然后再选择其最小值。如果我们对之前的理论有印象的话，我们会想到这个优化问题依然可以交给判别器来解决。 于是接下来要做的，就是去改判别器，让它能够衡量与之间的 wasserstein 距离。

WGAN

WGAN 的判别器的目标表达式：

$$V(G,D)=\underset{D\in 1-\text{ Lipschitz }}{\max }\left\{E_{x\sim P_{\text{data }}}[D(x)]-E_{x\sim P_G}[D(x)]\right\}$$

这个表达式的求解结果就是 $P_G$ 与 $P_{\text{data }}$ 之间的 wasserstein 距离。反正目前我们构造出了求解 was 距离的判别器。关于这个表达式，值得注意的是， $D$ 被加上了 1-Lipschitz function（如下图）的限制。
$$\begin{array}{rl}& \Vert f\left(x_1\right)-f\left(x_2\right)\Vert \le K\Vert x_1-x_2\Vert \\ & \mathrm{K}=1\text{ for "1 }-\text{ Lipschitz" }\end{array}$$
需要要对判别器做限制。传统 GANs 的判别器输出的结果是在**(0,1)区间之内，但是在 WGAN 中输出的结果是 was 距离，was 距离是没有上下界的**，这意味着，随着训练进行，的 was 值会越来越小，的 was 值会越来越大，判别器将永远无法收敛。

限制方法

1. weight clipping
   • 设定一个上限 c 与下限-c，如果更新参数 w 大于 c，改成 w=c；如果更新参数 w 小于-c，改成 w=-c。
   • 无法让D限制在 1-Lipschitz function
2. WGAN-GP以及SNGAN

$$D\in 1\text{ - Lipschitz }\iff \Vert {\nabla }_{x}D(x)\Vert \le 1\text{ for all }\mathrm{x}$$

​ 对于一个可微函数，当且仅当对于任意的 x，梯度的模都小于或等于 1，则该可微函数是 1-Lipschitz function。

对判别器增加条件

$$\begin{array}{rl}V(G,D)\approx & \underset{D}{\max }\{E_{x\sim P_{\text{data }}}[D(x)]-E_{x\sim P_G}[D(x)]\\ & -\lambda {\int }_x\max \left(0,\Vert {\nabla }_{x}D(x)\Vert -1\right)dx\}\end{array}$$

• 出现的问题：统计的就是所有梯度的模不满足小于或等于 1 的项，给这些项分配一个惩罚参数λ，计算出惩罚值，并将所有惩罚值累加起来。当这个累加惩罚够大时，它会拖累maxD{V(D, G)}的取值，最终导致这样的 D 不再是最优解。惩罚力度过大导致最优解出现偏差。

• 真正需要考虑的惩罚项，应该是对判别器产生实质影响的区域。考虑到整个WGAN 的目的是让渐渐向靠拢，那位于和之间的区域一定会对判别器产生实质的影响。因此，我们将惩罚项中 x 的范围缩小为，是介于和之间的区域。目标表达式转化为如下式子：

$$\begin{array}{rl}V(G,D)\approx & \underset{D}{\max }\{E_{x\sim P_{\text{data }}}[D(x)]-E_{x\sim P_G}[D(x)]\\ & -\lambda E_{x\sim P_{\text{penalty }}}\left[\max \left(0,\Vert {\nabla }_{x}D(x)\Vert -1\right)\right]\}\end{array}$$

$\Vert {\nabla }_{x}D(x)\Vert$训练得越快，效果也越好，于是不妨把表达式直接改成：
$$\begin{array}{rl}V(G,D)\approx & \underset{D}{\max }\{E_{x\sim P_{\text{data }}}[D(x)]-E_{x\sim P_G}[D(x)]\\ & -\lambda E_{x\sim P_{\text{penalty }}}\left[{\left(\Vert {\nabla }_{x}D(x)\Vert -1\right)}^2\right]\}\end{array}$$
在惩罚项中希望$\Vert {\nabla }_{x}D(x)\Vert$越接近 1，惩罚就越少。平滑惩罚因子。

WGAN-GP：只是对于梯度的模大于 1 的区域的 x 作出了惩罚，它并没有保证每一个 x 的梯度的模都小于或等于 1

SNGAN

出现问题

需要保证对于每一个位置的 x，梯度的模都小于等于 1。

思路

SNGAN（频谱归一化 GAN）为了让正则化产生更明确地限制，提出了用谱范数标准化神经网络的参数矩阵 W，从而让神经网络的梯度被限制在一个范围内。

频谱范数

对于小扰动 ξ，我们有
$$\frac{{\Vert f_{\Theta }(\mathbf{x}+\mathbf{\xi })-f(\mathbf{x})\Vert }_2}{\Vert \mathbf{\xi }{\Vert }_2}=\frac{{\Vert \left(W_{\Theta ,\mathbf{x}}(\mathbf{x}+\mathbf{\xi })+{\mathbf{b}}_{\Theta ,\mathbf{x}}\right)-\left(W_{\Theta ,\mathbf{x}}\mathbf{x}+{\mathbf{b}}_{\Theta ,\mathbf{x}}\right)\Vert }_2}{\Vert \mathbf{\xi }{\Vert }_2}=\frac{{\Vert W_{\Theta ,\mathbf{x}}\mathbf{\xi }\Vert }_2}{\Vert \mathbf{\xi }{\Vert }_2}\le \sigma \left(W_{\Theta ,\mathbf{x}}\right)$$

$$\text{ 其中 }\sigma \left(W_{\theta ,x}\right)\text{ 就是 }{W}_{\theta ,x}\text{ 的谱范数的计算式, 数学上它等价于计算矩阵 }{W}_{\theta ,x}\text{ 的最大奇异值 }$$

矩阵最大奇异值的表达式参见下式：
$$\sigma (A)=\underset{\mathbf{\xi }\in {\mathbb{R}}^n,\mathbf{\xi }\ne 0}{\max }\frac{\Vert A\mathbf{\xi }{\Vert }_2}{\Vert \mathbf{\xi }{\Vert }_2}$$

• 应当训练模型参数Θ，使得对于任何 x，Θ,x的谱范数都很小，进一步研究 $W_{\Theta ,\mathrm{x}}$ 的性质, 让我们假设每个激活函数 $f^l$ 都是 ReLU（该参数可以很容易地推广 到其他分段线性函数)。注意, 对于给定的向量 $\mathrm{x},f^l$ 充当对角矩阵 $D_{\Theta ,{\mathrm{x}}^{\prime }}^l$, 其中如果 $x^{l-1}$ 中的 对应元素为正, 则对角线中的元素等于 1; 否则, 它等于零（这是 ReLU 的定义）于是, 我 们可以重写 $W_{\Theta ,x}$ 为下式:
  $$W_{\Theta ,x}=D_{\Theta ,x}^L{W}^L{D}_{\Theta ,x}^{L-1}{W}^{L-1}\cdots D_{\Theta ,x}^1{W}^1$$
  又注意到对于每个 $l\in \{1,\dots ,L\}$, 有 $\sigma \left(D_{\theta ,\mathrm{x}}^l\right)⩽1$, 所以我们有:
  $$\sigma \left(W_{\Theta ,x}\right)\le \sigma \left(D_{\Theta ,x}^L\right)\sigma \left(W^L\right)\sigma \left(D_{\Theta ,x}^{L-1}\right)\sigma \left(W^{L-1}\right)\cdots \sigma \left(D_{\Theta ,x}^1\right)\sigma \left(W^1\right)\le \prod _{\ell =1}^L\sigma \left(W^{\ell }\right)$$

为了限制Θ,x的谱范数，只需要每个 ∈ {1, … , }， 限制的谱范数就足够了。这促使我们考虑谱范数正则化

奇异值分解

奇异值定义

设 $A$ 为 $m\star n$ 矩阵, $q=\min (m,n),A\star A$ 的 $q$ 个非负特征值的算术平方根叫作 $A$ 的奇异值。

奇异值分解定理

设给定 $A\in M_{n,m}$, 令 $q=\min \{m,n\}$, 并假设 $\mathrm{rankA}=r$ :
(a) 存在酉矩阵 $V\in M_n$ 与 $W\in M_m$, 以及一个对角方阵
$$\sum _q=\left[\begin{array}{ccc}{\sigma }_1& \dots & 0\\ \dots & \dots & \dots \\ 0& \dots & {\sigma }_q\end{array}\right]$$
使得 ${\sigma }_1\ge {\sigma }_2\ge \dots \ge {\sigma }_r>0={\sigma }_{r+1}=\dots ={\sigma }_q$ 以及 $A=V\sum W^{\ast }$,
$$\text{ 其中 }\sum =\{\begin{array}{ccc}{\sum }_q& \text{ if }m=n& \\ [{\sum }_q& 0]\in M_{n,m}& \text{ if }m>n\\ [{\sum }_q& 0{]}^T\in M_{n,m}& \text{ if }m<n\end{array}$$
(b) 参数 ${\sigma }_1,{\sigma }_2,\dots ,{\sigma }_r$ 是 $A{A}^{\ast }$ 的按照递减次序排列的非零特征值的正的平方根, 它 们与 $A{A}^{\ast }$ 的按照递减次序排列的非零特征值的正的平方根是相同的。

在奇异值分解定理中, 矩阵 $\sum$ 的对角元素（即纯量 ${\sigma }_1,{\sigma }_2,\dots ,{\sigma }_q$, 它们是方阵 $\sum$ q的对 角元素) 称为矩阵 $A$ 的奇异值。

频谱范数正则化

为了约束每个权重矩阵的频谱范数 $W^l$, 我们考虑以下经验风险最小化问题:
$$\underset{\Theta }{\mathrm{minimize}}\frac{1}{K}\sum _{i=1}^{K}L\left(f_{\Theta }\left({\mathbf{x}}_i\right),{\mathbf{y}}_i\right)+\frac{\lambda }{2}\sum _{\ell =1}^L\sigma {\left(W^{\ell }\right)}^2$$
其中λ∈+是正则化因子，第二项被称为谱范数正则项，它降低了权重矩阵的谱准则。
在执行标准梯度下降时，我们需要计算谱范数正则项的梯度。为此，让我们考虑对于一个特定 $l$ 的梯度 $\sigma {\left(W^l\right)}_2^2/2$, 其中 $l\in \{1,\dots ,L\}$ 。设 ${\sigma }_1=\sigma \left(W^l\right)$ 和 ${\sigma }_2$ 分别是第一和第二奇异值。如 果 ${\sigma }_1>{\sigma }_2$, 则 $\sigma {\left(W^l\right)}^2/2$ 的梯度为 ${\sigma }_1{\mathrm{u}}_1{\mathrm{v}}_1^T$, 其中, ${\mathrm{u}}_1$ 和 ${\mathrm{v}}_1$ 分别是第一个左奇异向量和第一个右 奇异向量。如果 ${\sigma }_1={\sigma }_2$, 则 $\sigma {\left(W^l\right)}_2^2/2$ 是不可微的。然而, 出于实际目的, 我们可以假设这 种情况从末发生, 因为实际训练中的数值误差会让 ${\sigma }_1$ 和 ${\sigma }_2$ 不可能完全相等。
由于计算 ${\sigma }_1,u_1$ 和 $v_1$ 在计算上是昂贵的, 我们使用功率迭代方法来近似它们。从随机初 始化的 $\vee$ 开始（开始于 $l-1$ 层）, 我们迭代地执行以下过程足够次数：
KaTeX parse error: Can't use function '$' in math mode at position 51: … \boldsymbol{v}$̲ and $\boldsymb…
最终我们得到了使用频谱范数正则项的 SGD 算法如下:

为了最大化 ${\sigma }_1,u_1$ 和 $v_1$, 在 SGD 的下一次迭代开始时, 我们可以用 $v_1$ 代 替第 2 步中的初始向量 $v_{\circ }$ 然后在第 7 步中右方的标注是,只进 行一次迭代就能够获得足够好的近似值。文章中还提到对于含有卷积的神经网络架构, 我们 需要将参数对齐为 $b\times a{k}_w{k}_{\mathrm{h}}$ 的矩阵, 再去计算该矩阵的谱范数并添加到正则项中。
综上, 频谱范数正则化看起来非常复杂, 但是它的实际做法, 可以简单地理解为, 把传 统 GANs 中的 loss 函数:
$$\underset{\Theta }{\mathrm{minimize}}\frac{1}{K}\sum _{i=1}^{K}L\left(f_{\Theta }\left({\mathbf{x}}_i\right),{\mathbf{y}}_i\right)+\lambda \sum {\left(w_i\right)}^2$$
其中的正则项替换成了谱范数：
$$\underset{\Theta }{\mathrm{minimize}}\frac{1}{K}\sum _{i=1}^{K}L\left(f_{\Theta }\left({\mathbf{x}}_i\right),{\mathbf{y}}_i\right)+\frac{\lambda }{2}\sum _{\ell =1}^L\sigma {\left(W^{\ell }\right)}^2$$
并且谱范数的计算利用了功率迭代的方法去近似。

SNGAN的实现

之前我们说到，对于 GANs 最重要的目的是实现 D 的 1-lipschitz 限制，频谱范数正则化固然有效，但是它不能保证把Θ的梯度限制在一个确定的范围内，真正解决了这一问题的，是直到 18 年 2 月才被提出的 SNGAN。SNGAN 基于 spectral normalization 的思想，通过对W 矩阵归一化的方式，真正将Θ的梯度控制在了小于或等于 1 的范围内。

我们先来证明, 只要将每一层 $W^l$ 的谱范数都限制为 1 , 最终得到的 $f_{\Theta }$ 函数就会满足 1lipschitz 限制。
对于一个线性层函数 $g(h)=Wh$, 我们可以计算出它的 lipschitz 范式:
$$\Vert g{\Vert }_{\mathrm{L}\mathrm{i}\mathrm{p}}=\underset{\mathbf{h}}{\sup }\sigma (\nabla g(\mathbf{h}))=\underset{\mathbf{h}}{\sup }\sigma (W)=\sigma (W).$$
如果激活层函数的 lipschitz 范式 ${\Vert a_l\Vert }_{lip}=1$ (比如 ReLU), 我们就有如下不等式:
$${\Vert g_1\circ g_2\Vert }_{\mathrm{L}\mathrm{i}\mathrm{p}}\le {\Vert g_1\Vert }_{\mathrm{L}\mathrm{i}\mathrm{p}}\cdot {\Vert g_2\Vert }_{\mathrm{L}\mathrm{i}\mathrm{p}}$$
其中 $\circ$ 表示复合函数。我们利用上面的不等式, 就能够得到 $f_{\Theta }$ 的 lipschitz 范式的限制式:
$$\begin{array}{rl}\Vert f{\Vert }_{\text{Lip }}\le & {\Vert \left({\mathbf{h}}_L\mapsto W^{L+1}{\mathbf{h}}_L\right)\Vert }_{\text{Lip }}\cdot {\Vert a_L\Vert }_{\text{Lip }}\cdot {\Vert \left({\mathbf{h}}_{L-1}\mapsto W^L{\mathbf{h}}_{L-1}\right)\Vert }_{\text{Lip }}\\ & \cdots {\Vert a_1\Vert }_{\text{Lip }}\cdot {\Vert \left({\mathbf{h}}_0\mapsto W^1{\mathbf{h}}_0\right)\Vert }_{\text{Lip }}=\prod _{l=1}^{L+1}{\Vert \left({\mathbf{h}}_{l-1}\mapsto W^l{\mathbf{h}}_{l-1}\right)\Vert }_{\text{Lip }}=\prod _{l=1}^{L+1}\sigma \left(W^l\right)\end{array}$$
于是现在, 我们只需要保证 $\sigma \left(W^l\right)$ 恒等于 1 , 就能够让 $f_{\Theta }$ 函数满足 1-lipschitz 限制。做 法非常简单, 只需要将 $W$ 矩阵归一化即可:
$${\bar{W}}_{\mathrm{S}\mathrm{N}}(W):=W/\sigma (W)$$

可以看出，与传统的 SGD 相比，带有谱归一化的 SGD 做的额外处理就是对 W 矩阵做的归一化处理：
$${\bar{W}}_{\mathrm{S}\mathrm{N}}^l\left(W^l\right)=W^l/\sigma \left(W^l\right),\text{ where }\sigma \left(W^l\right)={\tilde{\mathbf{u}}}_l^{\mathrm{T}}{W}^l{\tilde{\mathbf{v}}}_l$$

参考: glab.