深度学习时,对数据归一化的作用?

当我们进行深度学习训练时,往往希望数据越接近正态分布越好,这样训练效果就会明显提升。
事实上,我们正在谈论数据标准化。 这是一种特征处理方法,使所有标准化特征满足N(0, 1)的标准正态分布。
例如 如果你的一个特征是10000,一个特征是0.2,当这两个输入到任何学习模型中时,学习速度都会很慢。 如果两个特征之一为0.1,另一个为0.3,学习速度就会加快。
对于数据本身来说,没有强制要求必须满足正态分布的条件,除非是非正常分布。 但为了加速融合进程,可以采用标准化。
有一种深度神经网络学习Batch Normalization,它对每一层的数据进行归一化。 这也是为了避免梯度消失,使每一层更加独立,不受前一层的影响。

你可能感兴趣的:(深度学习,人工智能,机器学习)