黄金时代 —— 深度学习 (基础)

1 优化方法

梯度下降	SGD, Momentum, Nesterov, Adagrad, Adadelta, RMSprop, Adam, Adamax
牛顿法
拟牛顿法
共轭梯度法

梯度下降

${\theta }_t={\theta }_{t-1}+\Delta {\theta }_t$

SGD

• 小批量随机梯度下降
  $$\begin{array}{c}{g}_t={\nabla }_{{\theta }_{t-}}f\left({\theta }_{t-1}\right)\\ \Delta {\theta }_t=-\eta \times g_t\end{array}$$
• 每一次都计算mini-batch的梯度, 然后对参数进行更新. 公式中$\eta$的是学习率, $g_t$是当前 batch 的梯度
• 优点 在合理的学习率和相应的衰减策略下, 通常能够优化到一个不错的点, 配合下面的 Momentum, 通常可以获得比自适应方法更优的点
• 缺点 (1) 因为要兼顾整个神经网络中所有参数的训练效果, 因此学习率敏感. (2) SGD 容易收敛到局部最优, 并且在某些情况下容易被困在鞍点( 这句话是不对的, 只有在特定的 inital point 时才会被困在鞍点, 通常情况下, 我们使用 random inital point, 被困在鞍点的概率非常小, 当使用合适的初始化和步长时, 几乎不会出现鞍点问题 ); (3) 参数的更新仅仅依赖于当前 batch 中的数据, 当数据分布波动较大时, 更新不稳定.

SGD+Momentum (动量项)

$$\begin{array}{c}{g}_t={\nabla }_{{\theta }_{t-}}f\left({\theta }_{t-1}\right)\\ m_t=\mu \times m_{t-1}+g_t\\ \Delta {\theta }_t=-\eta \times m_t\end{array}$$

• $\mu$ 为动量因子，通常取值0.9或0.99
• 通过动量的积累来在相关方向上加速 SGD 优化速度, 抑制震荡, 同时有助于跳出局部最优, 进而加快收敛.
• 优点 (1) 下降初期, 动量因子可以加速网络的训练速度; (2) 当遇到鞍点时, 梯度虽然为零, 但是动量不为零, 可以跳出鞍点(局部最优) ; (3) 在梯度改变方向时, 能够降低更新幅度, 减小震荡, 加速网络收敛;
• 总之, momentum 项能够在相关方向加速 SGD, 抑制震荡, 从而加快收敛。
• 缺点 需要人工设置学习率

SGD+Nesterov (前瞻动量)

• Nesterov Accelerated Gradient
  $$\begin{array}{c}{g}_t={\nabla }_{{\theta }_{t-}}f\left({\theta }_{t-1}-\eta \times \mu \times m_{t-1}\right)\\ m_t=\mu \times m_{t-1}+g_t\\ \Delta {\theta }_t=-\eta \times m_t\end{array}$$
• Nesterov 与 Momentum 公式的区别在于, 前者不是在当前的位置上求梯度, 而是根据本来计划要走的那一步提前前进一步以后, 再在新的位置上求梯度, 然后对这个新求得的梯度进行 Momentum 梯度下降计算
• 优点 (1) 先站在下一步的位置看看, 再进行更新, 使得梯度更新方向更具前瞻性; (2) 实际使用中, NAG 会比 Momentum 收敛的速度更快
• 缺点 需要人工设置学习率

AdaGrad (梯度平方累计)

$$\begin{array}{c}{n}_t=n_{t-1}+g_t^2\\ \Delta {\theta }_t=-\frac{\eta }{\sqrt{n_t+\epsilon }}\times g_t\end{array}$$

• 学习率前面乘了一个约束项$\frac{1}{\sqrt{n_t+ϵ}},$
• 该约束项会随着算法的不断选代而增大, 那么对应学习率就会越来越小, Adagrad 算法在开始时是大步前进的, 而在后面则会减小步伐, 缓慢收敛
• 优点：(1) 更新期间学习率随着训练过程变化 (2) 适合面对稀疏梯度 (3) 对于每一个不同的参数, 其具有不同的学习率, 由梯度动态调节
• 缺点 (1) 依赖人工全局学习率; (2) 中后期, 分母上的梯度累加和会越来越大, 使得更新停滞, 训练提前结束

AdaDelta (梯度平方平均值+自适应学习率)

$$\begin{array}{c}E{g}_t^2=\rho \times E{g}_{t-1}^2+(1-\rho )\times g_t^2\\ \Delta {\theta }_t=-\frac{\eta }{\sqrt{E{g}_t^2+ϵ}}{g}_t\\ =-\frac{\eta }{RMS|g{|}_t}{g}_t\\ =-\frac{RMS|\Delta \theta {|}_{t-1}}{RMS|g{|}_t}{g}_t\\ RMS[\Delta \theta {]}_t=\sqrt{E{\left[\Delta {\theta }^2\right]}_t+ϵ}\\ E{\left[\Delta {\theta }^2\right]}_t=\gamma E{\left[\Delta {\theta }^2\right]}_{t-1}+(1-\gamma )\Delta {\theta }_t^2\end{array}$$

• ρ 类似于冲量项, 其值在 0.9 附近. Adadelta是对Adagrad的扩展, 和 Adagrad 相比, 其改进是将分母约束项换成了 过去的梯度平方的衰减平均值, 相当于梯度的均方根 (Root Mean Squared, RMS), 此外, 如果将学习率也换成$RMS[\Delta \theta {]}_t$的话, 甚至可以不用设置学习率了
• 优点 (1) 对 Adagrad 的扩展, 约束项只计算梯度平方一段时间内的平均值, 而不是累计值, 不容易产生太大值而使得更新提早结束; (2) 无需人工设置学习率, 可以动态改变学习率的大小;
• 缺点 (1) 训练后期会反复在局部最小值附近抖动, 无法收敛到最优点, 这时候用 SGD+Momentum, 通常会有 2%~5% 的验证集正确率提升.

RMSprop (梯度平方平均值)

$$\begin{array}{c}E{g}_t^2=\rho \times E{g}_{t-1}^2+(1-\rho )\times g_t^2\\ \Delta {\theta }_t=-\frac{\eta }{\sqrt{E{g}^2+ϵ}}{g}_t\end{array}$$

• AdaDelta的特例,
• 优点 (1) Adadelta 的特例, 也是对学习率添加约束, 适合处理非平稳目标, 对 RNN 效果较好
• 缺点 RMSprop可以算作是Adadelta的一个特例, 可以看出 RMSprop 仍然需要设置全局学习率

Adam (梯度平方平均值 + 动量项)

$$\begin{gathered} m_t={\beta }_1\times m_{t-1}+\left(1-{\beta }_1\right)\times g_t \\ {n}_t={\beta }_2\times n_{t-1}+\left(1-{\beta }_2\right)\times g_t^2 \\ {\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t} \\ {\hat{n}}_t=\frac{n_t}{1-{\beta }_2^t} \\ \Delta {\theta }_t=-\frac{\hat{m}t}{\sqrt{{\hat{n}}_t+ϵ}}\times \eta \end{gathered}$$

• 利用修正后的梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率. $m_t,n_t$ 分别是对梯度的一阶矩估计和二阶矩估计, 可以看做是对期望$E{g}_t,E{g}_t^2$ 的估计, ${\hat{m}}_t,{\hat{n}}_t$ 是对$m_t,n_t$ 的校正, 这样可以近似为对期望的无偏估计.
• 优点 (1) 经过偏置校正后, 每一次迭代学习率都有一个确定的范围, 使得参数更新比较平稳; (2) 结合了动量 RMSprop 的优点; 既可以加速收敛, 又可以根据梯度的大小动态调节每个参数的学习步长 (3) 对内存需求 (偏置估计, 不用存储前几次梯度) 较小; (4) 适用于大多非凸优化, 适用于大数据集和高维空间; (5) 超参数可以比较直观的解释, 同时只需要极少量的调参
• 缺点 最终的收敛点通常比经过精心调参后的 SGD+Momentum 的收敛点差一些. 常取参数值:(${\beta }_1=0.9,{\beta }_2=0.999,ϵ=10^{-8}$)

Adamax (学习率设上界 + Adam)

$$\begin{gathered} n_t=\max \left(\nu \times n_{t-1},abs\left(g_t\right)\right) \\ \Delta x=-\frac{{\hat{m}}_t}{n_t+ϵ}\times \eta \end{gathered}$$

• Adamax 是 Adam 的一种变体, 此方法对学习率的上限提供了一个更简单的范围, 可以看出, 学习率的边界范围更加简单

Nadam (NAG + Adam)

$$\begin{gathered} {\hat{g}}_t=\frac{g_t}{1-{\Pi }_{i=1}^t{\mu }_i} \\ {m}_t={\mu }_t\ast m_{t-1}+\left(1-{\mu }_t\right)\ast g_t \\ {\hat{m}}_t=\frac{m_t}{1-{\prod }_{i=1}^{t+1}{\mu }_i} \\ {n}_t=\nu \ast n_{t-1}+(1-\nu )\ast g_t^2 \\ {\hat{n}}_t=\frac{n_t}{1-{\nu }^t} \\ {\bar{m}}_t=\left(1-{\mu }_t\right)\ast {\hat{g}}_t+{\mu }_{t+1}\ast {\hat{m}}_t \\ \Delta {\theta }_t=-\eta \ast \frac{{\bar{m}}_t}{\sqrt{{\hat{n}}_t}+ϵ} \end{gathered}$$

合适的优化方法

• Adam, RMSprop 等算法, 使用的都是一阶原点矩和二阶原点矩. 并且是利用滑动平均法来对一阶矩和二阶矩进行估计.
• SGD+Momentum 相比于自适应优化器通常训练时间长, 但在好的学习率和衰减方案的情况下结果更优
• AdaGrad, RMSprop, Adam 等适合希望得到快速结果的情况下使用
• • 在使用 RMSprop 和 Adam 的地方, 大多可以使用 Nadam 取得更好的效果.
• 在训练较深层的网络时, 也推荐先使用 Adam 方法进行正确性验证, 然后再使用SGD+Momentum 微调.
• 在实际训练中比较好的方法是: 先用 Adam 预训练一段时间, 然后使用 SGD+Momentum, 以达到最佳性能. Adam vs SGD 的表现通常如下图所示, 由于鲁棒性和自适应的学习速率, Adam 在一开始表现更好, 而 SGD 最终更容易达到全局最优.
  

Adam (Adaptive Moment Estimation)

Adam 中使用的指数加权滑动平均法

• 在数学中一般会以 1/e 来作为一个临界值, 小于该值的加权系数对应的值不作考虑. 因此, 当 β=0.9 时, 0.9^10 约等于 1e, 认为此时是约 10 个数值的加权平均.
• 偏差修正：由于初始化的值太小, 导致初期的滑动平均值偏小, 随着时间的增长, 初期的值影响减小, 滑动平均值才逐渐正常. 为了让初期的滑动平均值也相对正常，所以除以一个数进行修正！

偏差修正

• 令其在梯度变得稀疏时要比 RMSprop 算法更快速和优秀。
  $$\begin{gathered} n_0=0 \\ {n}_t={\beta }_2\times n_{t-1}+\left(1-{\beta }_2\right)\times g_t^2=\left(1-{\beta }_2\right)\sum _{i=1}^t{\beta }_2^{t-i}\times g_i^2 \\ E\left[n_t\right]=E\left[\left(1-{\beta }_2\right)\sum _{i=1}^t{\beta }_2^{t-i}\times g_i^2\right]=E\left[g_t^2\right]\times \left(1-{\beta }_2\right)\sum _{i=1}^t{\beta }_2^{t-i}+C=E\left[g_t^2\right]\times \left(1-{\beta }_2^t\right)+C^{\prime } \end{gathered}$$

Adam的原理机制

• Adam 算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率更新所有的权重，学习率在训练过程中并不会改变。而 Adam 通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。
• 本质上，Adam是AdaGrad和RMSprop的集合：适应性梯度算法（AdaGrad）为每一个参数保留一个学习率以提升在稀疏梯度（即自然语言和计算机视觉问题）上的性能；均方根传播（RMSprop）基于权重梯度最近量级的均值为每一个参数适应性地保留学习率。这意味着算法在非稳态和在线问题上有很有优秀的性能。

Adam参数和默认参数

• $\alpha$：同样也称为学习率或步长因子，它控制了权重的更新比率（如 0.001）。较大的值（如 0.3）在学习率更新前会有更快的初始学习，而较小的值（如 1.0E-5）会令训练收敛到更好的性能。
• ${\beta }_1$：一阶矩估计的指数衰减率（如 0.9）。
• ${\beta }_2$：二阶矩估计的指数衰减率（如 0.999）。该超参数在稀疏梯度（如在 NLP 或计算机视觉任务中）中应该设置为接近 1 的数。
• $ϵ$：该参数是非常小的数，其为了防止在实现中除以零（如 10E-8）

二阶梯度方法

• DL中一般只使用一阶梯度方法！

牛顿法

$$\begin{gathered} f(x)=f\left(x^{(k)}\right)+\nabla f{\left(x^{(k)}\right)}^T\left(x-x^{(k)}\right)+\frac{1}{2}{\left(x-x^{(k)}\right)}^{T}H\left(x^{(k)}\right)\left(x-x^{(k)}\right)(\text{)} \\ \nabla f(x)=\nabla f\left(x^{(k)}\right)+H\left(x^{(k)}\right)\left(x-x^{(k)}\right) \\ 因为：\nabla f\left(x^{(k+1)}\right)=0 \\ 则：\nabla f\left(x^{k)}\right)+H\left(x^{(k)}\right)\left(x^{(k+1)}-x^{(k)}\right)=0 \\ {x}^{(k+1)}=x^{(k)}-H{\left(x^{(k)}\right)}^{-1}\nabla f\left(x^{(k)}\right) \\ 即：x^{(k+1)}=x^{(k)}-H_k^{-1}{g}_k \end{gathered}$$

拟牛顿法

• 牛顿法中海赛矩阵的逆矩阵计算复杂度高
• 拟牛顿的基本思路：考虑用一个正定矩阵替代海赛矩阵
  $$g_{k+1}-g_k=H\left(x^{(k)}\right)\left(x^{(k+1)}-x^{(k)}\right)$$
• 得到拟牛顿条件：$y_k=H_k{\delta }_k$
• 如果 $H_k$ 是正定的 $H_k^{-1}$ 也是正定的, 那么可以保证牛顿法搜索方向 $p_k$是下降方向。这是因为搜索方向是$p_k=-H_k^{-1}{g}_k$
• 如何找到和更新这个矩阵有DFP算法、BFGS算法和Broyden类算法 TODO … …
• 高斯牛顿法 TODO … …

共轭梯度法

• 共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点
• 共轭梯度法不仅是解决大型线性方程组最有用的方法之一，也是解大型非线性最优化最有效的算法之一。
• 在各种优化算法中，共轭梯度法是非常重要的一种。其优点是所需存储量小，具有步收敛性，稳定性高，而且不需要任何外来参数。

问题模型

$$\underset{x}{\min }f(x)=\frac{1}{2}{x}^{T}Ax-b^{T}x$$

• A为半正定矩阵，x为优化变量，A和b为已知，负梯度如下：
  $$r_k=-\left(A{x}_k-b\right)$$
• 其实 就是求 方程 $4x^{\ast }=b$ 的解（通过迭代避免了求逆的难度），定义每次迭代和最优解的误差如下：$e_k=x^{\ast }-x_k$

解法

• 虽然梯度下降法的每一步都是朝着局部最优的方向前进的，但是它在不同的迭代轮数中会选择非常近似的方向，说明这个方向的误差并没通过一次更新方向和步长更新完，在这个方向上还存在误差，因此参数更新的轨迹是锯齿状。共轭梯度法的思想是，选择一个优化方向后，本次选择的步长能够将这个方向的误差更新完，在以后的优化更新过程中不再需要朝这个方向更新了。由于每次将一个方向优化到了极小，后面的优化过程将不再影响之前优化方向上的极小值，所以理论上对N维问题求极小只用对N个方向都求出极小就行了。为了不影响之前优化方向上的更新量，需要每次优化方向共轭正交。假定每一步的优化方向用$p_k$表示，可得共轭正交：
  $$p_{i}A{p}_j=0i\ne j$$
• 则据上式，误差和优化方向:
  $$p_{k}A{e}_{k+1}=0$$
• 若为N维空间优化问题, 则每次优化方向可以组成这个空间中的一组基底$P=\left\{p_1,p_2,\dots ,p_N\right\}$

推导（优化方向和步长确定）

• 第一次优化方向为初始负梯度方向：
  $$p_1=r_1=b-A{x}_1$$
• 使用施密特正交化，得到第k次优化方向为（对$r_k$进行正交化）：
• $$p_k=r_k-\sum _{i<k}\frac{p_i^{T}A{r}_k}{p_i^{T}A{p}_i}{p}_i$$
• $${\beta }_i=\frac{p_i^{T}A{r}_k}{p_i^{T}A{p}_i}$$
• 优化步长计算如下：
• $$\begin{array}{rl}{p}_k^{T}A{e}_{k+1}& =p_k^{T}A\left(x^{\ast }-x_{k+1}\right)\\ & =p_k^{T}A\left(x^{\ast }-x_k+x_k-x_{k+1}\right)\\ & =p_k^{T}A\left(e_k-{\alpha }_k{p}_k\right)\\ & =p_k^{T}A{e}_k-{\alpha }_k{p}_k^{T}A{p}_k=0\end{array}$$
• $$\begin{array}{rl}{\alpha }_k& =\frac{p_k^{T}A{e}_k}{p_k^{T}A{p}_k}\\ & =\frac{p_k^{T}A\left(x^{\ast }-x_k\right)}{p_k^{T}A{p}_k}\\ & =\frac{p_k^T\left(A{x}^{\ast }-A{x}_k\right)}{p_k^{T}A{p}_k}\\ & =\frac{p_k^T\left(b-A{x}_k\right)}{p_k^{T}A{p}_k}\\ & =\frac{p_k^T{r}_k}{p_k^{T}A{p}_k}\end{array}$$

三个推论

• 第k步计算的梯度 $r_k$ 和前k-1步的优化向量 ${\left\{p_i\right\}}_{i=1}^{k-1}$ 正交。
  • 证明: 当 $i<j$
    $$\begin{array}{rl}{p}_i^T{r}_j& =p_i^T\left(A{x}_j-b\right)\\ & =p_i^T\left(A{x}_j-A{x}^{\ast }\right)\\ & =p_i^{T}A{e}_j\\ & =p_i^{T}A\left(e_{i+1}-\sum _{k=1}^{j-1}{\beta }_k{p}_k\right)\\ & =0\end{array}$$
• 第k步计算的梯度 $r_k$ 和前k-1步的梯度 ${\left\{r_i\right\}}_{i=1}^{k-1}$ 正交。
  • 证明: 当 $i<j$
    $$r_i^T{r}_j=\left(p_i+\sum _{k=1}^{i-1}{\beta }_k{p}_k\right)r_j=0$$
• 第K步计算的梯度 $r_k$ 和前k-2步的优化向量 ${\left\{p_i\right\}}_{i=1}^{k-2}$ 共轭正交。
  • 证明:
    $$\begin{array}{rl}{r}_{j+1}^T{r}_i& ={\left(b-A{x}_{j+1}\right)}^T{r}_i\\ & ={\left(b-A\left(x_j+{\alpha }_j{p}_j\right)\right)}^T{r}_i\\ & ={\left(b-A{x}_j-{\alpha }_{j}A{p}_j\right)}^T{r}_i\\ & ={\left(r_j-{\alpha }_{j}A{p}_j\right)}^T{r}_i\\ & =r_j^T{r}_i-{\alpha }_j{p}_j^{T}A{r}_i\end{array}$$
  • 当 $j+1=i$ 时, $p_j^{T}A{r}_i\ne 0$
  • 当 $j+1<i$ 时, $p_j^{T}A{r}_i=0$

使用推论简化计算

• 使用上述公式，每次迭代都要计算$\beta$，现简化如下：
• 优化方向：（推论三）
  $$\begin{array}{rl}{p}_{k+1}& =r_{k+1}-\frac{p_k^{T}A{r}_{k+1}}{p_k^{T}A{k}_k}{p}_k\\ & =r_{k+1}-\frac{{\left(A{p}_k\right)}^T{r}_{k+1}}{{\left(A{p}_k\right)}^T{p}_k}{p}_k\\ & =r_{k+1}-\frac{{\left(\frac{r_k-r_{k+1}}{\alpha }\right)}^T{r}_{k+1}}{{\left(\frac{r_k-r_{k+1}}{\alpha }\right)}^T{p}_k}{p}_k\\ & =r_{k+1}-\frac{{\left(\frac{r_k-r_{k+1}}{\alpha }\right)}^T{r}_{k+1}}{{\left(\frac{r_k-r_{k+1}}{\alpha }\right)}^T\left(r_k-{\beta }_{k-1}{p}_{k-1}\right)}{p}_k\\ & =r_{t+1}+\frac{r_{k+1}^T{r}_{k+1}}{r_k^T{r}_k}{p}_k\end{array}$$
• 优化步长：（推论一）
  $$\begin{array}{rl}{\alpha }_k& =\frac{p_k^T{r}_k}{p_k^{t}A{p}_k}\\ & =\frac{{\left(r_k-{\beta }_{k-1}{p}_{k-1}\right)}^T{r}_k}{p_k^{t}A{p}_k}\\ & =\frac{r_k^T{r}_k}{p_k^{T}A{p}_k^T}\end{array}$$
• 最终梯度计算公式：
  $$\begin{array}{rl}{r}_{k+1}& =b-A{x}_{k+1}\\ & =b-A\left(x_k+{\alpha }_k{p}_k\right)\\ & =b-A{x}_k-{\alpha }_{k}A{p}_k\\ & =r_k-{\alpha }_{k}A{p}_k\end{array}$$

伪代码

$r_0=b-A{x}_0$
$p_0=r_0$
$k=0$
$while{\alpha }_k=\frac{r_k^T{r}_k}{p_k^{T}A{p}_k}$
$x_{k+1}=x_k+{\alpha }_k{p}_k$
$r_{k+1}=r_k-{\alpha }_{k}A{p}_k$
$if{r}_{k+1}<ϵbreak$
${\beta }_{k+1}=\frac{r_{k+1}^T{r}_{k+1}}{r_k^T{r}_k}$
$p_{k+1}=r_{k+1}+{\beta }_k{p}_k$
$k=k+1$
$return{x}_{k+1}$

2 网络参数初始化

• constant, uniform, gaussian, xavier, msra(kaiming), bilinear

均匀分布	…	将权值与偏置进行均匀分布的初始化
高斯分布	…	初始化为服从$N\left(\mu ,{\sigma }^2\right)$的高斯分布
Xavier	$W\sim U\left[-\frac{\sqrt{6}}{\sqrt{n_j+n_{j+1}}},\frac{\sqrt{6}}{\sqrt{n_j+n_{j+1}}}\right]$ 服从均值为 0, 方差为$\frac{2}{n_i+n_{i+1}}$ 的均匀分布	公式中, $n_i$ 为本层输入的神经元个数, $n_{i+1}$ 为本层输出的神经元个数, 适合于线性激活函数(原文公式推导的假设)
MSRA(Kaiming)	基于均值为0, 方差为 $\sqrt{\frac{2}{\left(1+a^2\right)\times fa{n}_{in}}}$ 的高斯分布	它特别适合 ReLU 激活函数(非线性)
双线性初始化	…	常用在反卷积网络里的权值初始化

相关概率公式

推导时使用的現率公式：
$$\begin{gathered} D(x)=E\left(x^2\right)-E^2(x) \\ D(xy)=E\left(x^2{y}^2\right)-E^2(xy)=E\left(x^2\right)E\left(y^2\right)-E^2(x)E^2(y) \end{gathered}$$
如果 $E(y)=0,$ 则有：
$$D(xy)=D(y)E\left(x^2\right)$$
如果(x,y)是相互独立的，则有
$$E(xy)=E(x)E(y)$$

Xavier 初始化 2010

• 核心理念是: 优秀的初始化方法应该使得各层的激活值和状态梯度在传播过程中的方差保持一致
• 它为了保证前向传播和反向传播时每一层的方差一致:
  • 在正向传播时，每层的激活值的方差保持不变；
  • 在反向传播时，每层的梯度值的方差保持不变。
  • 根据每层的输入个数和输出个数来决定参数随机初始化的分布范围，是一个通过该层的输入和输出参数个数得到的分布范围内的均匀分布。

假设

• 首先,输入数据来说,其均值和方差应满足: E(x)=0,Var(x)=1 (通过BN,较容易满足)
• 权重矩阵 $W$ 和 网络输入 $x$ 互相独立
• 每层输入的每个特征方差一样
• 激活函数对称: 这主要是为了满足均值为0的假设
• 激活函数是线性的, 也就是说其导数为1
• 初始时, 状态值落在激活函数的线性区域, 即此时导数为1

推导

• 正向传播的推导过程
  $$Y=W_1{X}_1+W_2{X}_2+\dots +W_n{X}_n$$
• 方差
  $$\mathrm{Var}\left(W_i{X}_i\right)=E{\left(X_i\right)}^2\mathrm{Var}\left(W_i\right)+E{\left(W_i\right)}^2\mathrm{Var}\left(X_i\right)+\mathrm{Var}\left(X_i\right)\mathrm{Var}\left(W_i\right)$$
• 当输入的 X 均值为 0 时(通过 BN, 较容易满足), 输出的方差就是：
  $$\mathrm{Var}\left(W_i{X}_i\right)=\mathrm{Var}\left(W_i\right)\mathrm{Var}\left(X_i\right)$$
• 独立同分布
  $$\mathrm{Var}(Y)=n\times \mathrm{Var}\left(W_i\right)\mathrm{Var}\left(X_i\right)$$
• 也就是说输出的方差跟输入的方差只是相差了一个倍数 $nVar\left(W_i\right),$ 因此, 为了保证前向传播和反向传播时每一层的方差一致, 则有下面的公式成立:
  $$\forall i,n_i\times \mathrm{Var}\left[W^i\right]=1$$
• 同时考虑反向传播时输入输出刚好相反, 于是就有:
  $$\forall i,n_{i+1}\times \mathrm{Var}\left[W^i\right]=1$$
• 权衡上述两个公式，可得方差为：
  $$\forall ,\mathrm{Var}\left[W^i\right]=\frac{2}{n_i+n_{i+1}}$$
• 取均匀分布$U(a,b)$的方差为 $\frac{(b-a{)}^2}{12}$，反推得到Xavier最终的初始化分布如下:
  $$W\sim U\left[-\frac{\sqrt{6}}{\sqrt{n_j+n_{j+1}}},\frac{\sqrt{6}}{\sqrt{n_j+n_{j+1}}}\right]$$
• 而取正态分布，则有：
  $$W\sim N(0.0,\sqrt{\frac{2}{n_{in}+n_{\text{out}}}})$$
• 对于权值的初始化，Glorot提出两个准则：
  • 各个层激活值的方差保持不变（正向传播）
  • 各个层的梯度值的方差保持不变（反向传播）
• 通常初始的权值矩阵的均值为0. 这这些条件的基础上，Glorot 使用(tanh)作为激活函数，并假设输入值的均值为0，提出了Xavier初始化的方法。

He Kaiming 初始化 2016 (MSRA)

链接

• 而Kaiming使用ReLU作为激活函数，就无法满足数值的均值为0的条件，因此使用Xavier来初始化ReLU作为激活函数的网络，效果也就不是那么理想。其提出了MSRA的初始化方法，来解决该问题
• 由于Xavier的假设条件是激活函数是关于0对称的，而常用的ReLU激活函数并不能满足该条件
• 正向传播：
  $${\mathbf{y}}_l={\mathbf{W}}_l{\mathbf{x}}_l+{\mathbf{b}}_l$$
• 独立同分布
  $$\mathrm{Var}\left[y_l\right]=n_l\mathrm{Var}\left[w_l{x}_l\right]$$
• 设w_的均值为0，即 $E\left(w_l\right)=0,$ 则有：
  $$\begin{array}{r}\mathrm{Var}\left(y_l\right)=n_l\mathrm{Var}\left(w_l\right)\cdot E\left(x_l^2\right)\end{array}$$
• 这里有和Xavier一个很大的不同是，这里没有假设输入的值的均值为0。这是由于，使用ReLU的激活函数, $x_l=\max \left(0,y_{l-1}\right)$,每层输出的值不可能均值为0
• 初始化时通常设, w的均值为0，偏置 $b=0,$ 以及w和x是相互独立的，则有:
  $$\begin{array}{rl}\mathrm{E}\left(y_l\right)& =\mathrm{E}\left(w_l{x}_l\right)\\ & =\mathrm{E}\left(x_l\right)\cdot \mathrm{E}\left(w_l\right)\\ & =0\end{array}$$
• 再假设w是关于0对称分布的 (均匀分布，高斯分布都符合) ，则可以得到 $y_l$ 在0附近也是对称分布的。这样，使用ReLU作为激活函数，则有：$x_l=\max \left(0,y_{l-1}\right)$
• 由于只有当 $y_l-1>0$ 的部分， $x_l$ 才有值, 且 $y_l$ 在0附近也是对称分布的, 则可以得到：
  $$\begin{array}{rl}\mathrm{E}\left(x_l^2\right)& =\frac{1}{2}\mathrm{E}\left(y_{l-1}^2\right)\\ & =\frac{1}{2}\left(E\left(y_{l-1}^2\right)-E\left(y_{l-1}\right)\right),\left(\text{ 由于 }E\left(y_{l-1}\right)=0\right)\\ & =\frac{1}{2}\mathrm{Var}\left(y_{l-1}\right)\end{array}$$
• 带入到：$\mathrm{Var}\left(y_l\right)=n_l\mathrm{Var}\left(w_l\right)\cdot E\left(x_l^2\right)$
• 得到：
  $$\mathrm{Var}\left[y_l\right]=\frac{1}{2}{n}_l\mathrm{Var}\left[w_l\right]\mathrm{Var}\left[y_{l-1}\right]$$
• 即：
  $$\mathrm{Var}\left[y_L\right]=\mathrm{Var}\left[y_1\right]\left(\prod _{l=2}^L\frac{1}{2}{n}_l\mathrm{Var}\left[w_l\right]\right)$$
• 为了方差一致：
  $$\frac{1}{2}{n}_l\mathrm{Var}\left[w_l\right]=1,\forall l$$
• 即权值得方差应该是：$\sqrt{2/n_l}$
• 取均匀分布，则有：
  $$W\sim U[-\sqrt{\frac{6}{n_l}},\sqrt{\frac{6}{n_l}}]$$
• 取正态分布，则有：
  $$W\sim N(0.,\sqrt{\frac{2}{n_l}})$$

网络参数不可以初始化为0

• 首先, 在神经网络中, 每一层中的任意神经元都是同构的, 它们拥有相同的输入, 如果再将参数全部初始化为同样的值(如0), 那么输出也就是相同的, 反过来它们的梯度也都是相同的. 那么无论是前向传播还是反向传播的取值都是完全相同的, 那么每一个神经元都是基于input做相同的事情, 这样一来, 不同的神经元根本无法学到不同的特征, 这样就失去网络学习特征的意义了

3 损失函数

• 01损失；L1损失；L2损失；
• Softmax函数(用于分类)，常用类似于逻辑回归的对数似然函数$E(t,y)=-{\sum }_j{t}_j\log y_j$
• Softmax容易上溢下溢(指数容易数据溢出)，采用$f(x-max(x))$ 替代 $f(x)$ (科大讯飞问到我了, 我竟然忘了)

KL散度(相对熵)和交叉熵

• KL散度，值越小表示两个分布越接近：
• p(x)常用于描述样本的真实分布且q(x)则常常用于表示预测的分布
  $$D_{KL}(p\Vert q)=\sum _{i=1}^{n}p\left(x_i\right)\log \frac{p\left(x_i\right)}{q\left(x_i\right)}$$
• KL散度和交叉熵只差一个常数项（数据样本的熵）：
  $$\begin{gathered} D_{KL}(p\Vert q)=\sum _{i=1}^{n}p\left(x_i\right)\log \left(p\left(x_i\right)\right)-\sum _{i=1}^{n}p\left(x_i\right)\log \left(q\left(x_i\right)\right) \\ =-H(p(x))+\left[-\sum _{i=1}^{n}p\left(x_i\right)\log \left(q\left(x_i\right)\right)\right] \end{gathered}$$
• 交叉熵公式：
  $$J(W,b)=-\left[\frac{1}{m}\sum _{i=1}^m\left(y^{(i)}\log f^{(i)}+\left(1-y^{(i)}\right)\log \left(1-f^{(i)}\right)\right)\right]$$
• 多分类
  $$J(W,b)=-\left[\frac{1}{m}\sum _{i=1}^m\sum _{k=1}^n{y}_k^{(i)}\log f_k^{(i)}\right]$$
• 交叉熵和softmax的关系：crossentropy和softmax关系
  

Smooth L1

$${\mathrm{smooth}}_{L_1}(x)=\{\begin{array}{ll}0.5x^2& |x|<1\\ |x|-0.5& \text{ otherwise }\end{array}$$

• 优点：① smooth L1 损失是一种鲁棒性较强的 L1 损失, 相比于 R-CNN 和 SPPNet 中使用的 L2损失, 它对离异点的敏感度更低. 当回归目标趋于无限时, L2 损失需要很小心的处理学习率的设置以避免发生梯度爆炸, 而 smooth L1 损失则会消除这种敏感情况. ② 相比于 L2 损失, L1 损失对于离异值更加鲁棒, 当预测值与目标值相差很大时, 梯度很容易爆炸, 因为梯度里面包含了 $\left(t_i^u-v_i\right)$这一项, 而smooth L1 在值相差很大是, 其梯度为 ±1 ( L1 在 x 绝对值较大时, 是线性的, 而 L2 是指数的, 很容易爆炸).

Focal Loss

• Focal Loss for Dense Object Detection
• 论文论点：1stage不如2stage效果好一个重要原因就是类别不平衡导致：① Two-Stage算法，在经过RPN，再通过score筛选和nms筛选过滤掉了大量的负样本，然后在分类、回归阶段又固定了正负样本比例（1:3），或者通过OHEM技巧使得前景和背景相对平衡。类别不平衡的问题并不明显，算法精度得以保证。② One-Stage算法需要产生超大量的预选框，训练被大量负样本所主导，Focal Loss对此种情况卓有成效。
• 即：① 无用的易分反例样本会使得模型的整体学习方向跑偏，导致无效学习，即只能分辨出没有物体的背景，而无法分辨具体的物体。② 负样本数量太大，占总的loss函数输入参数的大部分，而且多是容易分类的，因此使得模型的优化方向（即loss函数的梯度下降方向）并不是我们所希望的那样

消除类别不平衡 & 挖掘难分类样本

• 先前也有一些算法，如OHEM（online hard example mining）为解决类别不平衡(In OHEM each example is scored by its loss, non-maximum suppression (nms) is then applied, and a minibatch is constructed with the highest-loss examples)但是过分关注于错分类的正负样本，而忽视了容易分的正样本
• 提出Focal Loss:
• 在交叉熵损失函数基础上改的

改进思路

• 二分类交叉熵函数
  $$\mathrm{L}=-\mathrm{y}\log y^{\prime }-(1-y)\log \left(1-y^{\prime }\right)=\{\begin{array}{ll}-\log y^{\prime }& y=1\\ -\log \left(1-y^{\prime }\right),& y=0\end{array}$$
• 缺点：此时的损失函数在大量简单样本的迭代过程中比较缓慢且可能无法优化至最优。
• Focal Loss
  $${\mathrm{L}}_{fl}=\{\begin{array}{ll}-\alpha {\left(1-y^{\prime }\right)}^{\gamma }\log y^{\prime }& y=1\\ -(1-\alpha )y^{\prime \gamma }\log \left(1-y^{\prime }\right),& y=0\end{array}$$
• ① $\gamma >0$ 用途：挖掘难分类样本。使得减少易分类样本的损失，使得模型更关注于困难的、错分的样本。 2最好
• ② $\alpha >0$ 用途：平衡正负样本本身的数量比例不均（即类别不均衡） 0.25最好
• 多分类Focal Loss:
  $$FL\left(y_t\right)=-{\alpha }_t\ast {\left(1-{\hat{y}}_t\right)}^{\gamma }\ast \log \left({\hat{y}}_t\right)$$
• 进一步提出 RetinaNet TODO

DR loss

• DR Loss: Improving Object Detection by Distributional Ranking
• 也是类似于Focal Loss，解决One-Stage中的类别不平衡问题。将分类问题转换为排序问题，从而避免了正负样本不平衡的问题。同时针对排序，提出了排序的损失函数DR loss，并给出了可求导的解。
• 公式变形
• 原分类优化函数为，其中：$P_{i,j,k}$表示第i个图像中第j个候选对象第k类的估计概率！
  $$\begin{gathered} \underset{\theta }{\min }\sum _i^N\sum _{j,k}\ell \left(p_{i,j,k}\right)=> \\ \underset{\theta }{\min }\sum _i^N\left(\sum _{j_{+}}^{n_{+}}\ell \left(p_{i,j_{+}}\right)+\sum _{j_{-}}^{n_{-}}\ell \left(p_{i,j_{-}}\right)\right) \end{gathered}$$
• 将其转换为排序配对问题（$\gamma$表示margin）：
  $$\underset{\theta }{\min }\sum _i^N\sum _{j_{+}}^{n_{+}}\sum _{j_{-}}^{n_{-}}\ell \left(p_{i,j_{-}}-p_{i,j_{+}}+\gamma \right)$$
• 每一幅图像可以写成：
  $$\begin{gathered} \frac{1}{n_{+}{n}_{-}}\sum _{j_{+}}^{n_{+}}\sum _{j_{-}}^{n_{-}}\ell \left(p_{i,j_{-}}-p_{i,j_{+}}+\gamma \right) \\ =E_{j_{+},j_{-}}\left[\ell \left(p_{i,j_{-}}-p_{i,j_{+}}+\gamma \right)\right] \end{gathered}$$
• 进一步：(Distributional Ranking)
  $$\underset{\theta }{\min }\sum _i^N\ell \left(\underset{j_{-}}{\max }{p}_{i,j_{-}}-\underset{j_{+}}{\min }{p}_{i,j_{+}}+\gamma \right)$$
• 将O($n_{＋}$$n_{-}$)复杂度转换到O(1),但是max min 对Outier过于敏感!
• 进一步改进，选取正负样本中最具代表性的样本来排序！其中，sum(q) = 1，是概率分布
  $$P_{i,+}=\sum _{j_{+}}^{n_{+}}{q}_{i,j_{+}}{p}_{i,j_{+}};P_{i,-}=\sum _{j=}^{n_{-}}{q}_{i,j_{-}}{p}_{i,j_{-}}$$
• 当q为均匀分布，则上述的公式就是求期望！
• 求解q的公式：
  $$P_{i,+}$$