49、Resnet - 残差结构

前面我们介绍了 Resnet 中常见的算法，包括：卷积，池化，批归一化 和激活函数，本机介绍一个在 Resnet 网络中最重要的一个结构算法，称之为残差结构。

残差结构在介绍 Resnet50 这个网络时简单介绍过，可以看这里。本节从残差结构的角度在来梳理一下相关内容。

其实我对残差这个结构印象很深刻。在我刚开始学习 AI 算法时，有一次参加一个线下的讨论，有个西南大学的本科生，在做汇报时说到了残差网络具有很好的推理效果，那时的我还未入门，像是听天书，听了半天没搞懂说的啥意思，但是却记住了残差这个词。

1、残差网络和Resnet

在很多学科中，残差指的是：预测值与实际值之间的误差。