深度残差网络思想小结

残差网络的思想

对于普通网络，任意堆叠的两层网络，我们希望找到的是一个映射H(x)对应的残差元，我们添加一个快捷连接，从输入到输出，这里的快捷连接默认为恒等映射，此时的问题就从寻找映射H（x）到F(x)（H(x) - x）；这里类似于在数学上，你直接去解一个方程较为复杂，你就把它分解成两个简单问题和的形式，分别去解决。对于残差的定义，在统计学中，为实际观测值与估计值（拟合值）的差值，这里则是直接的映射H(x)与快捷连接x的差值。

去构造映射H(x)，与构造残差映射F(x）是等价的，此外残差映射也更容易优化。
对于残差元来说，前向过程是线性的，而且后面的输入等于输入加上每一次的残差元的结果，而普通的网络，则为每一层卷积的连乘运算：

快捷连接部位为恒等映射时，ReLu的使用，使得学习周期大大缩短。综合速率和效率，DL中大部分激活函数应该选择ReLu。

残差网络的设计原则

对于普通网络，其实对残差网络也是适用的
(1)具有相同特征图尺度大小，具有相同个数的卷积核。
(2)特征图的大小减半时，特征图的数目加倍。

残差网络的优点

很容易训练，值得是前向和反向都可以保证，线性使得网络加深，可以达到1000层精度提升可以被移植到其他问题。

残差网络的应用：

图像的很多问题都可以应用、视觉识别、图像生成、自然语言处理、语音识别、广告，用户预测。