残差（Residual）

残差

残差（Residual）是深度学习中常用的概念，尤其是在残差网络（ResNet）和类似架构中。残差的核心思想是通过引入“跳跃连接”（Skip Connection），使得神经网络能够学习输入和输出之间的差异（即残差），而不是直接学习输出本身。这种方法有助于缓解深度神经网络训练中的梯度消失和梯度爆炸问题。

残差的定义：

在传统的神经网络中，每一层的输出是基于输入的某种非线性变换。但在残差网络中，每一层的输出是通过添加原输入（即残差）与经过变换后的结果进行结合，形式如下：

$$y=F(x)+x$$

其中：

• $x$ 是当前层的输入，
• $F(x)$ 是当前层的变换（通常是卷积层或全连接层的输出），
• $y$ 是当前层的输出。

在这个公式中，残差就是 $F(x)$，即网络学习的部分，而 $x$ 是输入。这种连接方式允许信息直接从上一层传递到下一层，而不会经过复杂的变换，从而帮助网络更容易训练。

为什么使用残差：

1. 缓解梯度消失/梯度爆炸：深度网络训练时，梯度消失或梯度爆炸问题会导致模型无法有效训练。通过残差连接，梯度可以直接传播，减缓了这些问题。
2. 更容易训练深层网络：残差学习使得训练更深层次的神经网络成为可能，因为网络不需要学习复杂的映射，只需要学习输入与输出之间的差异。
3. 信息传递更加高效：通过跳跃连接，网络可以保留更多的原始信息（输入 $x$），这有助于更好的表示学习。

在ResNet中的应用：

在ResNet中，残差块（Residual Block）包含了一个跳跃连接，输入数据 $x$ 会直接加到经过卷积处理后的结果上。这种结构使得深层网络能够更容易训练，极大地提高了深度网络的性能。ResNet的核心思想就是通过“残差学习”来优化深度网络的训练过程。

总结：

残差本质上是通过跳跃连接直接将输入数据加到当前层的输出上，从而让网络学习输入和输出之间的差异，而不是直接学习整个映射。这样做不仅可以提高训练效率，还能使网络能够更好地处理梯度问题，尤其是在深层网络中。