机器学习小词典

这里是自己总结的一些经常见但是经常想不起来具体含义的术语的含义和自己的理解，给自己以后论文书写提供参考。书读百遍，其义自见。

卷积（Convolution）：对图像的一个邻域进行卷积得到图像的邻域特征，是一个“一对多”的操作。在深度学习中，人为只能定义卷积核的size，权值是学习来的，通过BP算法进行训练得到。

池化（Pooling）：对于每一个隐藏单元，它都提取到 (r-a+1)×(c-b+1)个特征，把它看做一个矩阵，并在这个矩阵上划分出几个不重合的区域，然后在每个区域上计算该区域内特征的均值或最大值，然后用这些均值或最大值参与后续的训练，这个过程就是池化。实际上就是下采样，防止过拟合和减少后续处理的复杂度，可以理解成是一个特殊的卷积操作，只不过卷积步长和卷积核比较特殊而已。

全连接层：用来连接所有的特征，全连接一般会把卷积输出的二维特征图转化成一维的一个向量，将输出值送给分类器（如softmax）。

反卷积（Deconvolution）：即上采样，是一个属于全卷积网络（FCN）的概念。普通的池化会缩小图片的尺寸，由于FCN的输出与输入尺寸相同，为了得到和输入图像等大的输出标签，所以我们需要反卷积。这是一个“一对多”的操作，其实就是把卷积核反过来用（这个操作似乎也是可学习的，有待考证）。顺便：反卷积后得到的结果很粗糙，通常需要加一步后处理优化，例如条件随机场（CRF），或者使用u-net这样的将优化放在每一个隐层中的网络结构。

卷积神经网络（CNN）：将卷积—激活—池化三个步骤合并成为“卷积层”作为隐层，整个卷积神经网络有多个这样的隐层，再加上输入和输出层，根据模型的不同还有可能含有全连接层，这样的神经网络成为卷积神经网络。

深度学习（DL）：从广义上说深度学习的网络结构也是多层神经网络的一种，但是多层神经网络未必是深度学习网络结构，比如多层超限学习机（ML-ELM）。

感受野：表示网络内部的不同位置的神经元对原图像的感受范围的大小，存在这个概念的原因是深度学习网络模型中普遍存在pooling层，会导致原始图像的信息缺失，用感受野的定义可以大致评判某一层对原始图像抽象的程度，可以由一个递推公式得到。

全局平均池化（GAP）：对每个特征图一整张图片进行均值池化（计算所有像素的均值），每张特征图只得到一个输出。将这些特征点组成最后的特征向量进行softmax中进行计算。一个好处就是减少了FCN在pooling时信息的丢失。