【深度学习】ResNet神经网络

介绍

ResNet神经网络叫做残差神经网络（指的是在传统卷积神经网络中加入残差学习（residual learning）的思想，解决了深层网络中梯度弥散和精度下降（训练集）的问题，使网络能够越来越深，既保证了精度，又控制了速度），于2015年提出。

网络结构

残差学习一共包括两个分支，分别为identity mapping和residual mapping。
传统的卷积层或全连接层在信息传递时，或多或少会存在信息丢失、损耗等问题。ResNet通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化了学习目标和难度。

残差学习可以解决“网络加深准确率下降”的问题

对于一个神经网络模型，如果该模型是最优的，那么训练就很容易将residual mapping优化到0，此时只剩下identity mapping，那么无论怎么增加深度，理论上网络会一直处于最优状态。因为相当于后面所有增加的网络都会沿着identity mapping（自身）进行信息传输，可以理解为最优网络后面的层数都是废掉的（不具备特征提取的能力），实际上没起什么作用。这样，网络的性能也就不会随着深度的增加而降低了

下面给个例子