《卷积神经网络研究综述》阅读笔记

《卷积神经网络研究综述》阅读笔记
关键词：
深度学习；特征提取；模式识别；模型拟合；目标检测；计算机视觉；自然语言处理；语音识别；语义分析；信号和信息处理；
名词解释：
1. 泛化能力：是指机器学习算法对新鲜样本的适应能力。
2. 深度学习：深度学习是包含多级非线性变换的层级机器学习方法，深层神经网络是目前的主要形式，其神经元间的连接模式受启发于动物视觉皮层组织，而卷积神经网络则是其中一种经典而广泛应用的网络结构。
3. 全连接神经网路：一种经典的神经网路。
4. 递归神经网络（Recurrent Neural Network，RNN）：一种经典的神经网络。
5. 局部最优：局部最优（local optimum），是指对于一个问题的解在一定范围或区域内最优，或者说解决问题或达成目标的手段在一定范围或限制内最优。
6. 过拟合：过拟合（overfitting）一般是指在模型选择中，选择的模型参数过多，导致对训练数据的预测很好，但是对未知数据的预测很差的现象。
7. 梯度扩散：也称为梯度消失（vanishing gradient）或梯度弥撒，就是指对于梯度取值在 (0，1)之间的函数，当对其进行多次连续微分（或复合函数求导）后，所求得的梯度值将会越来越小，使得在计算在工程求解中很难进行。
8. 目前常用的深度学习模型有：深度置信网络（Deep Belief Network, DBN）、层叠降噪自动编码机（Stacked Denoising Autoencoders, SDA）、卷积神经网络（Convolutional Neural Network, CNN）等。
9. CNN 的基本结构：CNN 的基本结构由输入层、卷积层（Convolutional Layer）、池化层（Pooling Layer，也称为取样层）、全连接层以及输出层构成。
10. 卷积过程：卷积层的神经元被组织到各个特征面中，每个神经元通过一组权值被连接到上一层特征面的局部区域，即卷积层中的神经元与其输入层中的特征面进行局部连接。然后将该局部加权和传递给一个非线性函数如 ReLU 函数即可获得卷积层中每个神经元的输出值。
11. 特征面：卷积层（Convolutional Layer）由多个特征面（Feature Map）组成，每个特征面由多个神经元组成。它的每一个神经元通过卷积核与上一层特征面的局部区域相连。特征面的大小即所含神经元的个数。
12. 卷积核：卷积核是一个权值矩阵（如对于二维而言可以是 3*3 或 5*5 矩阵）。
13. 权值共享：在同一个输入特征面和同一个输出特征面中，CNN的权值共享。
14. 卷积核的滑动步长：卷积核每一次平移的距离。
15. 影响 CNN 性能的 3 个因素：层数、特征面的数目以及网络组织。
16. 深度网络结构具有两个优点：第一，可以促进特征的重复利用；第二，能够获取高层表达中更抽象的特征。由于更抽象的概念可以根据抽象性更弱的概念来构造，因此深度结构能够获取更抽象的表达。更抽象的概念通常对输入的大部分局部变化具有不变性。
17. 池化层：池化层紧跟在卷积层之后，同样由多个特征面组成，它的每一个特征面唯一对应于其上一层的一个特征面，不会改变特征面的个数。池化层旨在通过降低特征面的分辨率来获得具有空间不变性的特征。池化层起到二次提取特征的作用。
18. 常见的池化方法：最大池化、均值池化、随机池化、混合池化、空间金字塔池化、频谱池化等。
19. 池化核：池化层在上一层滑动的窗口称为池化核。
20. 全连接层：在 CNN 结构中，经多个卷积层和池化层后，连接着 1 个或者 1 个以上的全连接层。全连接层中的每个神经元与其前一层的所有神经元进行全连接。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。
21. 损失函数：损失函数（loss function）是机器学习中用于衡量模型一次预测结果好坏的函数。或者说损失函数是用来评估模型拟合的程度。它是一个非负实数值，用 L(Y, f(x)) 来表示。损失函数极小化，意味着拟合程度最好，对应的模型参数即为最优参数。
22. Dropout 技术：为了避免训练过拟合，常在全连接层中采用正则化方法，即数据丢失（dropout）技术，使得隐层神经元的输出值以 0.5 的概率变为 0，通过该技术使得部分隐层节点失效，这些节点不参加 CNN 的前向传播过程，也不会参加后向传播过程。
23. 激活函数：又称为激励函数。激活函数的作用是为了在神经网络中引入非线性的学习能力和处理能力。非线性的激活函数使得模型能够处理更加复杂的非线性数据集问题，提高了模型的处理能力，这也是引入激活函数最主要的作用。
24. 常用的激活函数：阶跃函数、sigmoid 函数、tanh 函数、ReLU 函数、softplus 函数、Leaky-ReLU 函数等。
25. 接受域：CNN 在网络的相连两层之间使用局部连接来获取图像的局部特性。具体来说，第 m 层的神经元只与第 m-1 层的局部区域有连接，则第 m-1 层的这些局部区域被称为空间连续的接受域。
26. 常见的深度学习软件架构：Caffe, Torch, Theano, Neon, TensorFlow 等。
27. 局部连接：在构造卷积层时，每一个神经元仅需要与上一层的部分神经元相连，这种方法被称为局部感知或局部连接。