深度学习基础：正则化、卷积、激活函数、池化

本文将解释什么是正则化、卷积、激活函数、池化，并说明为什么需要这些操作，如何实现这些操作。

---

正则化

为什么需要正则化？ 可以减少过拟合
正则化方式：L1正则化，L2正则化（使用更多）
Batch Norm 归一化，加速学习

---

非线性激活函数

为什么需要非线性激活函数？ 实践表明必须使用非线性激活函数，如果使用线性激活函数或者不使用激活函数，那么再深层次的神经网络模型的输出y只不过是输入x的线性组合。线性激活函数一般只在回归问题、输出层，如果在隐藏层使用，一般是与压缩有关的特殊情况。

非线性激活函数示例（z为自变量）

激活函数 sigmoid(z)：取值范围为（0,1），适用于二元分类（0,1）的输出层
激活函数 tanh(z)：取值范围为（-1,1），适用于中间的隐藏层，因为有类似于数据中心化的作用，在大多数情况下tanh比sigmoid要好一些。
sigmoid函数和tanh函数在z非常大或者非常小的时候，斜率接近为0，会拖慢算法的学习效率，解决办法：Relu函数
激活函数 ReLu(z)：取值范围为0和1，解决了sigmoid和tanh在z取值较大时
激活函数 Leaky ReLu(z)：进阶版的ReLu，一般来说效果更好，但使用频率没有ReLu函数多
使用在ReLu函数，理论上有一半的z的ReLu的导数为0，但在实践中，有足够多的为正数的z，所以对大多数训练样本来说还是很快的。使用ReLu神经网络的学习速度会比sigmoid和tanh快很多

激活函数示例

---

池化层

作用：压缩数据

---

参考：
网易云免费课程-吴恩达深度学习工程师微专业
网易云课程-唐宇迪深度学习-PyTorch框架实战系列