深度残差网络

深度残差网络在2015的ILSVRC比赛中获得取得第一的成绩，ICLR2016上也是重点议题之一。

它主要思想很简单，就是在标准的前馈卷积网络上，加一个跳跃绕过一些层的连接。每绕过一层就产生一个残差块(residual block)，卷积层预测加输入张量的残差。如下图所示：

普通的深度前馈网络难以优化。除了深度，所加层使得training和validation的错误率增加，即使用上了batch normalization也是如此。残差神经网络由于存在shorcut connections，网络间的数据流通更为顺畅。ResNet作者认为深度残差网络不太可能由于梯度消失而形成欠拟合，因为这在batch normalized network中就很难出现。残差网络结构的解决方案是，增加卷积层输出求和的捷径连接。

在facebook用Torch实现了ResNet，在github上面可以找到。github地址传送门

参考文献：
“Deep Residual Learning for Image Recognition”, authored by Kaiming He, Xiangyu Zhang, Shaoqing Ren and Jian Sun.