机器学习、深度学习常用专业术语

主要记录一些深度学习中可能用到的专业术语，一般是碰到了不懂的才记录，所有没有按一定的规律记录，持续更新…
1、梯度下降(gradient descent)

2、学习速率(learning rate)：学习率指每次迭代中 对成本函数的“最小化次数”。

3、反向传播(back propagation)：一次迭代后，根据产生的结果计算出整个网络的偏差，然后用偏差结合“成本函数的梯度”，对“权重因子进行调整”，使得下次迭代的过程中偏差变小。这样一个结合成本函数的梯度 来调整 权重因子 的过程就叫做反向传播。

4、常用激活函数：Sigmoid、ReLU 和softmax
Sigmoid函数会生成0到1之间的更平滑的取值范围：

ReLU函数，当X> 0时，函数的输出为X，X <= 0时为0。使用ReLU的好处主要是它对于大于0的所有输入值都有对应的不变导数值，而常数导数值可以加快对网络的训练。

Softmax——Softmax激活函数常用于输出层的分类问题。 它与sigmoid函数类似，唯一的区别是在Softmax激活函数中，输出被归一化，总和变为1。

5、卷积神经网络CNN(convolutional neural network)

6、递归神经网络(RNN,recurrent neural network)：常被用于处理序列化的数据，即前一项的输出 是用来预测下一项的输入。

7、backbone：主干网络：指的是提取特征的网络，其作用就是提取图片中的信息，供后面的网络使用。

8、GAP：Global Average Pool全局平均池化：将某个通道的特征取平均值。

9、RPN(RegionProposal Network)区域生成网络：其中的proposal称为候选框

10、卷积核(kernel)

11、feature map（特征图）：一般指的是卷积网络里面的卷积层的输出。在cnn的每个卷积层，数据都是以三维形式存在的。类似许多个二维图片叠在一起，其中每一个称为一个feature map。例如在输入层，如果是灰度图片，那就只有一个feature map；如果是彩色图片，一般就是3个feature map（RGB）

12、bounding box regression（边界回归）：用回归的方式去微调候选框，使其更准确地框取物体的过程。

13、非极大值抑制（Non-Maximum Suppression，NMS）：抑制不是极大值的元素，可以理解为局部最大搜索，一般用于目标检测中提取分数最高的窗口。

14、通道（Channel）：卷积网络中主要有两个操作，一个是卷积(Convolution)，一个是池化(Pooling)。其中池化层并不会对通道之间的交互有影响，只是在各个通道中进行操作。而卷积层则可以在通道与通道之间进行交互，之后在下一层生成新的通道。

15、感受野(receptive field)：一个神经元所影响的刺激区域叫做神经元的感受野。

16、多层感知机(Muti-Layer Perceptron,MLP)：有多个神经元层，第一层：输入层，中间层：隐藏层，最后一层：输出层

17、局部响应归一化(Local Response Normalized,LRN)：对局部输入区域进行归一化

18、批量标准化(Batch Normalization,BN)：对数据进行预处理（统一格式、均衡化、去噪等）能够大大提高训练速度，提升训练效果