机器学习与深度学习系列连载： 第二部分 深度学习（六）深度学习技巧3（Deep learning tips- Early stopping and Regularization）

深度学习技巧3（ Early stopping and Regularization）

本节我们一起探讨 Early stopping and Regularization，这两个技巧不是深度学习特有的方法，是机器学习通用的方法。

1. Early stopping

在训练过程中，往往会得出训练的最后的结果还可能不如以前的，原因很有可能出现overfitting。 我们需要提前踩刹车，得出更好的效果。

2. Regularizaton

当我们努力降低Loss函数的数值的时候，我们会发现，我们找到的参数集weights，不仅仅要让Loss变小，而且weights 自身也需要接近于0，这样我们的结果会更加理想。

L1 正则化：

新的Loss函数将会被最小化：

L2正则化

新的Loss函数将会被最小化：

到这里，很多同学会疑问，为什么weights小了，结果就很更好，我在这里举例说明：6岁的时候和14岁的时候，大脑的神经元密度明显降低，说明一些无效的神经元是阻碍大脑进步的。

本专栏图片、公式很多来自台湾大学李弘毅老师、斯坦福大学cs229，斯坦福大学cs231n 、斯坦福大学cs224n课程。在这里，感谢这些经典课程，向他们致敬！