谱范数正则（Spectral Norm Regularization）的理解

近来，DeepMind的一篇论文《LARGE SCALE GAN TRAINING FOR
HIGH FIDELITY NATURAL IMAGE SYNTHESIS》（arXiv:1809.11096v1）[1]（通过大规模Gan训练，得到高精度的合成自然图像）引起了广泛的关注。其中，为保证其大批次（batch够大）Gan训练的稳定性，[1]引入了谱范数正则技术（Spectral Norm Regularization）。该技术从每层神经网络的参数矩阵的谱范数角度，引入正则约束，使神经网络对输入扰动具有较好的非敏感性，从而使训练过程更稳定，更容易收敛。
谱范数正则（Spectral Norm Regularization，简称为SNR）最早来自于2017年5月日本国立信息研究所Yoshida的一篇论文[2]，他们后续又于2018年2月再再arXiv发了一篇SNR用于Gan的论文[3]，以阐明SNR的有效性。因为当SGD（统计梯度下降）的批次（Batch size）一大的时候，其泛化性能却会降低，SNR能有效地解决这一问题。

SNR的讨论是从网络的泛化（（Generalizability））开始的。对于Deep Learning而言，泛化是一个重要的性能指标，直觉上它与扰动（Perturbation）的影响有关。我们可以这样理解：局部最小点附近如果是平坦（flatness）的话，那么其泛化的性能将较好，反之，若是不平坦（sharpness）的话，稍微一点变动，将产生较大变化，则其泛化性能就不好。因此，我们可以从网络对抗扰动的性能入手来提升网络的泛化能力。

一、扰动的表示

对应多层神经网络而言，扰动（Perturbation）的来源主要有两个：1）参数的扰动；2）输入的扰动。[2]是从输入扰动的角度来进行讨论的。假设一个前馈网络的第 $l$ 层有如下关系：
$${\mathbf{x}}^l=f^l(W^l{\mathbf{x}}^{l-1}+{\mathbf{b}}^l)(1)$$
(1)中，${\mathbf{x}}^l$ 表示第 $l$ 层的输出，${\mathbf{x}}^{l-1}$ 表示第 $l$ 层的输入，$W^l,{\mathbf{b}}^l$ 分别表示该层神经网络的参数矩阵和偏置向量，$f^l(\cdot )$ 表示网络的非线性激活函数，$l=1,\cdots ,L$ 即整个网络有L层。于是，整个网络的参数集合可用$\Theta =\{W^l,{\mathbf{b}}^l{\}}_{l=1}^L$ 表示。
对于给定训练集：$({\mathbf{x}}_i,{\mathbf{y}}_i{)}_{i=1}^K$，其中${\mathbf{x}}_i\in {\mathbb{R}}^{n_0},{\mathbf{y}}_i\in {\mathbb{R}}^{n_L}$，则Loss 函数可以表示为：
$$Loss=\frac{1}{K}\sum _{i=1}^{K}L(f_{\Theta }({\mathbf{x}}_i),{\mathbf{y}}_i)(2)$$
其中，$L(\cdot )$ 表示我们常用的优化目标函数，如：交叉熵用于分类（Classification）任务、最小平方差$l_2$用于回归(Regression)任务。
所谓输入扰动，就指：输入有一个很小的变化，引起的输出变化：
$$\begin{gathered} \mathbf{x}\to \mathbf{x}+\xi \\ f(\mathbf{x})\to f(\mathbf{x}+\xi ) \\ \text{So we define:} \\ P=\frac{\Vert f(\mathbf{x}+\xi )-f(\mathbf{x})\Vert }{\Vert \xi \Vert }(3) \end{gathered}$$
我们要考察输入扰动的影响，可通过扰动指数——$P$，定量分析。对于多层神经网络，其非线性的引入是由于非线性激活函数。对于常见的非线性函数，如：ReLU、maxout、maxpooling等，我们可以将它看作是分段线性函数，因此，对于 $\mathbf{x}$ 的邻域来说，可看成是线性函数，如：ReLu。输入扰动发生在 $\mathbf{x}$ 的邻域中，对于单层神经网络（未经激活函数）有以下关系：
$$\begin{gathered} \frac{\Vert f(\mathbf{x}+\xi )-f(\mathbf{x})\Vert }{\Vert \xi \Vert }=\frac{\Vert W_{\Theta ,x}(\mathbf{x}+\xi )+{\mathbf{b}}_{\Theta ,x}-W_{\Theta ,x}\mathbf{x}-{\mathbf{b}}_{\Theta ,x}\Vert }{\Vert \xi \Vert } \\ =\frac{\Vert W_{\Theta ,x}\xi \Vert }{\Vert \xi \Vert }\le \sigma (W_{\Theta ,x})(4) \end{gathered}$$
其中，$\sigma (W_{\Theta ,x})$ 是矩阵 $W_{\Theta ,x}$ 的谱范数，谱范数的定义为：
$$\begin{gathered} \text{ A is a matrix, }A\in {\mathbb{R}}^{m\times n} \\ \sigma (A)=ma{x}_{\xi \in R^{n\times 1},\xi ̸=0}\frac{\Vert A\xi {\Vert }_2}{\Vert \xi {\Vert }_2}(5) \end{gathered}$$
所谓谱范数，就是它所对应矩阵 $A$ 的最大奇异值（Singular Value）。
若选择网络的激活函数为ReLU，函数的作用相当于一个对角矩阵，其对角元素在输入为正时，等于1；输入为负时，等于0。于是，第$l$ 层的激活函数可表示为对角矩阵：$D_{\Theta ,x}^l\in {\mathbb{R}}^{n^l\times n^l}$。由此，多层网络映射可表示为矩阵相乘，于是有：
$$\begin{gathered} \mathbf{y}=W_{\Theta ,x}\mathbf{x} \\ . \\ {W}_{\Theta ,x}=D_{\Theta ,x}^L{W}^L{D}_{\Theta ,x}^{L-1}{W}^{L-1}\cdots D_{\Theta ,x}^1{W}^1(6) \end{gathered}$$
因此有：
$$\sigma (W_{\Theta ,x})\le \sigma (D_{\Theta ,x}^L)\sigma (W_{\Theta ,x}^L)\sigma (D_{\Theta ,x}^{L-1})\sigma (W_{\Theta ,x}^{L-1})\cdots \sigma (D_{\Theta ,x}^1)\sigma (W_{\Theta ,x}^1)\le \prod _{l=1}^L\sigma (W^l)(7)$$
公式（7）给出了整个神经网络的扰动指数的上限，它是各层子网络谱范数的乘积。为限制扰动带来的影响，可将谱范数作为正则项加在传统的Loss中，于是寻优过程变为：
$$\Theta =\arg \underset{\Theta }{\min }\left(\frac{1}{K}\sum _{i=1}^{K}L(f_{\Theta }({\mathbf{x}}_i),{\mathbf{y}}_i)+\frac{\lambda }{2}\sum _{i=1}^K\sigma (W^l{)}^2\right)(8)$$
(8)式通过惩罚各层的谱范数总和，以实现对整个网络的谱范数的限制。

二、谱范数正则项

在通过SGD（统计梯度下降）的方法求最优值时，需要(8)式对 $\Theta$ 求梯度，在实践时，需要求出各层的最大奇异值，这将涉及大量的计算，我们可以用”幂迭代“法来近似它：
$$\begin{gathered} u_n\leftarrow W{v}_{n-1} \\ {v}_n\leftarrow W^T{u}_n \\ \text{and }\sigma (W^l)=\frac{\Vert u{\Vert }_2}{\Vert v{\Vert }_2}(9) \end{gathered}$$
$v_0$ 可以是一个随机矢量（比如：高斯矢量），通过迭代，可得到谱范数的近似值。(9)式为什么可以求出谱范数呢？[4]给出了一个推导过程，为本文的完整性，我在此重抄了一次。
设$A=W^{T}W$ 是一个对称阵，形状为$n\times n$，并可对角化，令其特征根为： ${\lambda }_1,\cdots ,{\lambda }_n$，它们对应的归一化特征向量为：${\eta }_1,\cdots ,{\eta }_n$，它们相互正交，模为1。这些特征向量构成A的列矢量空间的一个基。令：
$$\begin{gathered} u^{(0)}=c_1{\eta }_1+\cdots +c_n{\eta }_n \\ A{u}^{(0)}=A(c_1{\eta }_1+\cdots +c_n{\eta }_n)=c_1{\lambda }_1{\eta }_1+\cdots +c_n{\lambda }_n{\eta }_n \\ AA{u}^{(0)}=AA(c_1{\eta }_1+\cdots +c_n{\eta }_n)=c_1{\lambda }_1^2{\eta }_1+\cdots +c_n{\lambda }_n^2{\eta }_n \\ \cdots \\ {A}^r{u}^{(0)}=A^r(c_1{\eta }_1+\cdots +c_n{\eta }_n)=c_1{\lambda }_1^r{\eta }_1+\cdots +c_n{\lambda }_n^r{\eta }_n \end{gathered}$$
令 ${\lambda }_1$ 为最大者，有：
$$\begin{gathered} \frac{A^r{u}^{(0)}}{{\lambda }_1^r}=c_1{\eta }_1+\cdots +c_n(\frac{{\lambda }_n}{{\lambda }_1}{)}^r{\eta }_n \\ \because \frac{{\lambda }_k}{{\lambda }_1}<1,\therefore \underset{r\to \infty }{\lim }\frac{A^r{u}^{(0)}}{{\lambda }_1^r}=c_1{\eta }_1 \end{gathered}$$
令
$$\begin{gathered} u=\frac{A^r{u}^{(0)}}{\Vert A^r{u}^{(0)}{\Vert }_2},\text{ so} \\ . \\ Au=A\frac{A^r{u}^{(0)}}{\Vert A^r{u}^{(0)}{\Vert }_2}\approx \frac{A^{r+1}{c}_1{\eta }_1}{\Vert A^r{u}^{(0)}{\Vert }_2}={\lambda }_1{\eta }_1 \end{gathered}$$
即：当r足够大时，$u={\eta }_1$ 是最大特征值对应的特征向量。此时，$u^{T}Au={\lambda }_1$。以上(9)式所表达的迭代过程就是产生$u$的过程。
最后，谱正则项的实现算法如下：

小结：

谱正则来自于一个朴素的直觉：局部最小值处平坦，则泛化能力强。然后，[2]从前馈网络入手，导出以矩阵相乘形式的近似网络函数，让我们能够用矩阵进行奇异值方法去分析，从而说明局部平坦与奇异值之间的关系，最后，在此基础上给出一个可行的正则项设计。
这个推导过程值得我们去学习。

---

参考文献：
[1] 《LARGE SCALE GAN TRAINING FOR
HIGH FIDELITY NATURAL IMAGE SYNTHESIS》（arXiv:1809.11096v1）
[2] Spectral Norm Regularization for Improving the Generalizability of Deep Learning, Yuchi Yoshida, National Institute of Informatics, 2017. 5, (arXiv: 1705.10941v1)
[3] Spectral Normalization for Generative Adversarial Networks, Takeru Miyato, Yuchi Yoshida, 2018.2(arXiv: 1802.05957v1)
[4] 苏剑林. (2018, Oct 07). 《深度学习中的Lipschitz约束：泛化与生成模型 》[Blog post]. Retrieved from https://kexue.fm/archives/6051