深度学习归一化和标准化
归一化
深度学习归一化（Normalization）是一种数据预处理技术，用于将输入数据转换为一定的分布，以便更好地适应深度学习模型的训练。在深度学习中，归一化可以是将数据转换为均值为 0，标准差为 1 的分布（即 z-score 归一化），也可以是将数据缩放到一定的范围内，比如 [0,1] 或 [-1,1]。
深度学习归一化的主要目的是解决输入数据的量纲差异问题，以及避免输入数据分布过于偏斜或稀疏，从而提高深度学习模型的训练效果。
常用的深度学习归一化方法包括：
-
z-score 归一化：将数据转换为均值为 0，标准差为 1 的分布。
-
Min-Max 归一化：将数据缩放到 [0,1] 或 [-1,1] 区间内。
-
Log 归一化：对数据取对数，将数据压缩到一定的范围内。
-
Sigmoid 归一化：使用 Sigmoid 函数将数据缩放到 [0,1] 区间内。
-
Tanh 归一化：使用双曲正切函数将数据缩放到 [-1,1] 区间内。
不同的归一化方法适用于不同的数据类型和应用场景，需要根据具体情况选择合适的方法。其中，z-score 归一化是最常用的一种方法，尤其是在深度学习中，由于其简单有效，被广泛应用于图像处理、自然语言处理等领域。
标准化
深度学习标准化（Standardization）是一种数据预处理技术，用于将输入数据转换为一定的分布，以便更好地适应深度学习模型的训练。在深度学习中，标准化一般指将数据转换为均值为 0，标准差为 1 的分布，也称为 z-score 归一化。
具体而言，对于给定的一个数值型向量 X = ( x 1 , x 2 , . . . , x n ) X=(x_1, x_2, ..., x_n) X=(x1,x2,...,xn)，其中 x i x_i xi 表示第 i i i 个特征的取值，深度学习标准化的计算方式如下：
对于每个特征 x i x_i xi，进行 Min-Max 标准化（也称作离差标准化），即将特征 x i x_i xi 的取值范围缩放到 [0,1] 区间内，计算公式为：
x ^ i = x i − min ( X ) max ( X ) − min ( X ) \hat{x}_i = \frac{x_i - \min(X)}{\max(X) - \min(X)} x^i=max(X)−min(X)xi−min(X)
其中， x ^ i \hat{x}_i x^i 表示经过 Min-Max 标准化后的第 i i i 个特征取值， min ( X ) \min(X) min(X) 和 max ( X ) \max(X) max(X) 分别表示向量 X X X 中的最小值和最大值。
对于每个特征 x ^ i \hat{x}_i x^i，进行 z-score 归一化，即将特征 x ^ i \hat{x}_i x^i 转换为均值为 0，标准差为 1 的分布，计算公式为：
x ~ i = x ^ i − μ σ \tilde{x}_i = \frac{\hat{x}_i - \mu}{\sigma} x~i=σx^i−μ
其中， x ~ i \tilde{x}_i x~i 表示经过标准化后的第 i i i 个特征取值， μ \mu μ 和 σ \sigma σ 分别表示向量 X ^ = ( x ^ 1 , x ^ 2 , . . . , x ^ n ) \hat{X}=(\hat{x}_1, \hat{x}_2, ..., \hat{x}_n) X^=(x^1,x^2,...,x^n) 的均值和标准差。
通过深度学习标准化，可以使得输入数据的分布更加符合深度学习模型的假设，提高模型的泛化能力和鲁棒性，有利于加快模型的训练速度和提高模型的准确性。
归一化和标准化区别
深度学习归一化（Normalization）和标准化（Standardization）是两种常用的数据预处理技术，用于将输入数据进行变换，以便更好地适应深度学习模型的训练。它们的主要区别如下：
-
归一化是将数据缩放到 [0,1] 范围内，即通过除以数据的最大值和最小值的差来实现。标准化则是将数据缩放到均值为 0，标准差为 1 的分布中，即通过对数据进行均值和方差的转换来实现。
-
归一化是适用于输入数据分布较为均匀的情况，而标准化则适用于输入数据分布不均匀、存在较大离群值的情况。
-
归一化会使得输入数据的大小在相同的范围内，使得各特征对模型的贡献更加均匀，有利于加速收敛。标准化可以减小特征之间的量纲差异，使得各特征权重更容易进行比较。
-
归一化可以通过 min-max 归一化、z-score 归一化（但其实z-score归一化并不会放缩到[0,1]）等不同方式实现，而标准化一般是使用 z-score 标准化进行。
需要注意的是，归一化和标准化只是数据预处理中的一种手段，其效果和适用场景都需要具体问题具体分析。在深度学习模型训练中，归一化和标准化也常常会被结合使用，以进一步提高模型性能。
预处理
在进行数据预处理的时候一般会使用标准化的方式，即先进行min-max归一化放缩到[0, 1]，再进行z-score归一化放缩到均值为0，方差为1标准正态分布。
注意事项
关于深度学习中均值和方差算的是一张图片的还是一个通道的讨论。
深度学习数据预处理阶段中，均值和方差通常是针对一个通道计算的，而不是针对整张图片计算的。对于彩色图片，一般将其分解为红、绿、蓝三个通道，对每个通道分别计算均值和方差。对于灰度图像，只有一个通道，因此只需要对该通道计算均值和方差即可。这些统计量可以用来进行数据归一化，使得模型在训练时更容易收敛，并且可以提高模型的泛化能力。