【日常分享】正则化（regularization）与归一化（normalization）

背景

在平时看文章的时候，总会看到regularization或者normalization这种词汇，有时会弄不清楚这些含义，本文主要介绍一下正则化（regularization）与归一化（normalization）。

正则化（regularization）

正则化是指为解决适定性问题或过拟合而加入额外信息的过程。

在深度学习时往往会给最终的loss加入很多正则化项，为了使得模型达到最好的结果。

半监督学习（semi-supervised learning）中一种常用的方法叫做一致性正则（Consistency Regularization），也是正则化的一个使用场景，详见这里。

更多内容可参考知乎回答。

归一化（normalization）

大部分是指把数据变成(0,1)或者（-1,1）之间的小数。

主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。

常用方法：

（1）Min-Max Normalization
   x’ = (x - X_min) / (X_max - X_min)

（2）平均归一化
   x’ = (x - μ) / (X_max - X_min)

参考

• https://zh.wikipedia.org/wiki/%E6%AD%A3%E5%88%99%E5%8C%96_(%E6%95%B0%E5%AD%A6)

• https://www.6aiq.com/article/1546528673159

• https://www.zhihu.com/question/20924039

• https://www.jianshu.com/p/95a8f035c86c