权重归一化weight_norm

1. 权重归一化原理

对于网络中一神经元，其输入为 x，输出为 y，计算过程为
$$y=\varphi (\omega \ast x+b)$$
$\omega$为与该神经元连接的权重，通过损失函数与梯度下降对网络进行优化的过程就是求解最优$\omega$的过程。将$\omega$的长度与方向解耦，可以将$\omega$表示为
$$\omega =g\frac{v}{||v||},$$
其中$g$为标量，其大小等于$\omega$的模长，$\frac{v}{||v||}$为与$\omega$同方向的单位向量，此时，原先训练过程中$\omega$的学习转化为$g$和$v$的学习。假设损失函数以$L$表示，则$L$对$g$和$v$的梯度可以分别表示为，
$${\nabla }_{g}L={\nabla }_g\omega \ast ({\nabla }_{\omega }L{)}^T=\frac{{\nabla }_{\omega }L\ast v^T}{||v||}$$
$${\nabla }_{v}L={\nabla }_v\omega \ast {\nabla }_{\omega }L=\frac{\partial \frac{g\ast v}{||v||}}{\partial v}\ast {\nabla }_{\omega }L=\frac{g\ast ||v||}{||v|{|}^2}\ast {\nabla }_{\omega }L-\frac{g\ast v\ast \frac{\partial ||v||}{\partial v}}{||v|{|}^2}\ast {\nabla }_{\omega }L$$
因为
$$\frac{\partial ||v||}{\partial v}=\frac{\partial (v^T\ast v{)}^{0.5}}{\partial v}=0.5\ast (v^T\ast v{)}^{-0.5}\ast \frac{\partial (v^T\ast v)}{\partial v}=\frac{v}{||v||},$$
所以
$${\nabla }_{g}L=\frac{g}{||v||}\ast {\nabla }_{\omega }L-\frac{g\ast {\nabla }_{g}L}{||v|{|}^2}\ast v=\frac{g}{||v||}\ast M_{\omega }\ast {\nabla }_{\omega }L,$$
其中$M_{\omega }=I-\frac{\omega \ast {\omega }^T}{||\omega |{|}^2}$，与向量点乘可以投影任意向量至$\omega$的补空间，相对于原先的${\nabla }_{\omega }L$，${\nabla }_{v}L$进行了$\frac{g}{||v||}$的缩放以及$M_{\omega }$的投影，两者对优化过程都起到作用。

2. Pytorch中weight normalization的使用

import torch
import torch.nn as nn

net = nn.Linear(200,10)
net.weight.data

nn.utils.weight_norm(net, name='weight')

net.weight_g.size(),net.weight_v.size()