深度学习——基础知识整理（1）

 

深度学习整理的基础知识点（1）

1. 为什么在大多数的领域中深度学习的效果比机器学习的效果好？
2. 你觉得神经元的功能是什么？
3. 为什么在图像应用中更希望使用卷积神经网络呢？
4. 卷积层的功能、特点是什么？
5. 池化层的功能、特点是什么？
6. 激活函数的功能是什么？常用的激活函数有哪些？各自的特点是什么？
7. 批归一化的功能是什么？你觉得批归一化有什么问题？如何解决？

1. 为什么在大多数的领域中深度学习的效果比机器学习的效果好？

机器学习只能提取浅层特征，受特征工程的影响很大，而深度学习添加了多隐层网络结构和神经元，可以进行反向传播更新参数，自动的提取特征。

2. 你觉得神经元的功能是什么？

神经元里面有“线性转换”、“激活函数”，通过非线性转换提取高阶特征。

3. 为什么在图像应用中更希望使用卷积神经网络呢？

比如在一张图片中有一个待测物体很小，如果不使用卷积神经网络会造成冗余的计算过程和多余的噪声。通过卷积提取图像的局部信息然后合并得到全局的信息。

4. 卷积层的功能、特点是什么？

提取局部特征。
参数共享、窗口滑动：每个卷积核提取了一方面的特征，降低了参数量。

5. 池化层的功能、特点是什么？

池化层是在卷积层之后的操作，当卷积层提取局部特征信息之后；池化层提取主要特征信息，删除了冗余噪声，从而保留重要的特征信息。

6. 激活函数的功能是什么？常用的激活函数有哪些？各自的特点是什么？

通过引入激活函数，做非线性转换，增强模型的学习能力和分类效果。如果不做激活函数的话，不管做多少层线性转换都只相当于一层。常用的激活函数有：

sigmoid：   均值为0.5，值域（0,1）；在 x 小于 -3 或者 x 大于 3 时，函数的梯度值接近于零。在反向更新梯度的时候造成梯度消散。

tanh： ，均值为0，值域（-1,1）；在 x 小于 -3 或者 x 大于 3 时，函数的梯度值接近于零。在反向更新梯度的时候造成梯度消散。

relu：在x小于0，值域为0；x大于0时，值域为本身。
relu的拓展：
leaky relu：，ReLU是将所有的负值都设为零，相反，Leaky ReLU是给所有负值赋予一个非零斜率。

prelu：在prelu中，负值部分的斜率是根据数据来定的，而非预先定义的。
 

7. 批归一化功能是什么？你觉得批归一化有什么问题？如何解决？

 批归一化的内部做的就是标准化的操作，其作用就是加快迭代求解速度。
分析一下批归一化的流程：

前三步是标准化操作，将x的取值拉到0附近；然后最后一步是因为，BN之后一般添加激活函数，sigmoid、tanh在（-1,1）范围内的学习能力很弱，所以将x的取值进行缩放（这里是放大）；relu在x小于0范围内，神经元失活，所以将x进行平移（这里是往右移）。注意在做批归一化时不加偏置项，因为第四步加的β，相当于加了偏置项了。