深度学习概念名词解释总结

2019-1-4 更

---

1. 神经元Neuron：接受输入产生输出的基本单位。

2. 权重Weights：矩阵或张量，与输入相乘后与偏差相加。

3. 偏差Bias：被应用于输入的线性分量，改变权重与输入相乘的结果范围。

4. 激活函数 Activation：非线性，保留并映射神经元特征：

• sigmoid：

产生(0, 1)之间的平滑范围值；当输入稍微远离原点，函数梯度就变得很小；函数输出不是以0为中心的，这样会使权重更新效率降低；要进行指数运算，慢；

• tanh 双曲正切函数：

输入很大或很小时，输出平滑，梯度小，不利于权重更新；输出区间是在(-1,1)之间，函数是以0为中心，比sigmod好；

• ReLU：

ReLU函数只有线性关系，对所有大于零的输入有常量导数值，训练快；当输入是负数的时候，ReLU是完全不被激活的；

• Softmax：

用来进行最后的分类和归一化；

5. 多层感知器MLP：有多个神经元层，也叫深度神经网络。

6. 正向传播 Forward Propagation：输入通过隐藏层到输出层的运动。

7. 反向传播 Back Propagation：单词迭代输出后，计算出误差和成本函数梯度反馈给网络来更新网络权重的过程。

8. 成本函数 Cost Function / 损失函数 Loss Function：用于衡量网络输出的准确性。

• 均方差损失 MSE（欧式距离）：mean_squared_error

• 交叉熵损失 cross entropy （对数损失函数）：

binary_cossentropy：二分类交叉熵损失

categorical_crossentropy：多分类交叉熵损失，使用多分类交叉熵损失函数时，标签使用one-hot编码

• 指数损失函数（Adboost中）：

• Hinge损失函数（SVM中）：

9. 梯度下降 Gradient Descent: 最小化成本的优化算法，负导数方向，下降速度最快。

10. 学习率 Learning Rate: 每次迭代中损失函数中最小化的量， 即下降到损失函数最小化的速率就是学习率。过大易震荡，过小收敛慢。

11. 梯度下降参数更新方式：

• 批梯度下降 Batch Gradient Descent: 全部数据集计算一遍后更新参数，开销大，速度慢
• 随机梯度下降 Stochastic Gradient Descent：每计算一个数据更新一次参数，易震荡，不易收敛
•  小批次梯度下降 Mini-Batch Gradient Descent: 将数据划分为若干批次，按批更新参数

12. 批次大小 batch_size： 每次SGD训练使用的样本数

13. iteration: 一个iteration等于使用batch_size个样本训练一次，即 样本总数 = iteration * batch_size

14. epoch: 使用全部样本训练一次（Forward + Bachward Propagation），每个epoch要shuffle一次

15. dropout: 一种正则化技术，防止过拟合，在训练期间随机丢弃网络部分功能，增强网络泛化功能

16. 卷积核 / 滤波器 Filter: 一种加权矩阵，与输入部分相点乘（卷积）产生一个回旋输出，维度为FxFxC (长、宽、通道)

17. 池化层 Pooling：减少参数，防止过拟合，Maxpooling（常用）、Meanpooling

18. 填充 Padding:  zero padding -> 在图像四周添加零层，使图像输入输出尺寸保持一致；

                              valid padding -> 卷积之后图像尺寸缩小（卷积核起始中心不是图像左上角的像素点）

19. 数据增强 Data Augmentation：微调图像属性，产生更多图像，增加数据集的属性特征，提高模型泛化能力。

20. 梯度消失 / 梯度弥散 Vanishing Gradient: 激活函数梯度非常小时，权重乘以小梯度的值在反向传播时随着网络加深进一步消失，网络权重更新停滞。

RNN网络容易发生梯度弥散原因：用到sigmoid的特点，梯度过小，梯度表达式是一个连乘式，随着网络加深，只要有某些项小于1就会使得梯度逐渐变小。

解决：

• 使用ReLU(梯度恒定，不存在小梯度)
• 加入BN（Batch Normalization）层
• 使用LSTM网络

21. 梯度爆炸 Exploding Gradient：激活函数梯度过大，使得特定结点权重显著高于其他结点权重。

现象：

• 模型无法从训练数据中获得更新（如低损失）
• 模型不稳定，导致更新过程中的损失出现显著变化。
• 训练过程中，模型损失溢出变成 NaN。

解决：

• 使用ReLU激活函数
•  使用梯度截断（Gradient Clipping）：在训练过程中检查和限制梯度的大小
• 使用权重正则化（Weight Regularization）：检查网络权重的大小，并惩罚产生较大权重值的损失函数，通常使用的是 L1 惩罚项（权重绝对值）或 L2 惩罚项（权重平方）。

22. 超参数 Hyper Parameters: 根据经验确定的变量(与网络中自动更新的变量相对)，如 learning rate, iteration, batch_size...

23. 批标准化 Batch Normalization: 在过程中使每一层神经网络的输入保持相同分布的,通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0方差为1的标准正态分布

24. 全连接 Fully Connected：全连接层在平坦输入上操作（所以一般最后的FC层前都会有个Flatten层），将每个输入都连接到所有神经元，FC层基本在卷积网络的最后部分。

25. stride：卷积和池化操作中每次窗口移动的像素数。

26. 感受野：卷积神经网络特征所能看到输入图像的区域，换句话说特征输出受感受野区域内的像素点的影响。第K层的感受野区域记为Rk x Rk，即为第K次激活映射可以看见的输入像素。若层j上的过滤器大小为Fj，层i上的Stride值为Si，且S0=1，则层k上的感受野可以由下式计算出：

27. 目标检测中三类主要识别算法：

传统CNN：整张图像分类+概率预测

简易YOLO，R-CNN：图像中检测物体＋预测概率和定位

YOLO，R-CNN: 图像中检测多个物体+预测概率和定位

28. 目标检测方法：

边框检测 Bounding Box Detection：检测图像中物体所在部分，Box中心: (Bx, By) Box长宽： (Bh, Bw)

特征点检测 Landmark Detection：检测物体形状或特征（更精细 more granular）， 返回点集

29. 交并比 Intersection over Union (IoU): 量化预测边框Bp在实际边框Ba上正确定位的函数：

30. Anchor Box：为了解决同一个网格中有多个目标对象，用于多目标检测。网络可以同时预测多个box，其中每个box的预测被约束具有给定的一组几何特性。例如，第一个预测可能是给定形状的矩形框，而第二个预测可能是另一个形状不同的矩形框。

图像来自：https://blog.csdn.net/zkq_1986/article/details/78975379 ，侵删

31. 端到端 目标检测 End-to-End：不用事先定义候选框region proposal，算法分为两部分，一是确定目标所在位置及大小，二是判断目标的类别。

31. 候选框（region proposal）：非end-to-end目标检测算法中在图像中提取可能含有目标的box。

32. 非极大值抑制 Non-max Suppression (NMS): 通过选择最具代表性的对象来删除同一对象的重叠边界框。

步骤1：选择具有最大预测概率的框。

步骤2：删除任何与前一个框的IoU⩾0.5的框。

33. YOLO - You Only Look Once 

34. R-CNN (Region with Convolutional Neural Networks): 首先对图像进行分割以找到潜在的相关边界框，然后运行检测算法，在那些边界框中找到最可能的对象。

35. 生成对抗网络（Generative Adversarial Network, GAN): 由生成模型和判别模型组成，其中生成模型旨在生成最真实的输出，这些输出将被用于区分生成图像和真实图像。

36. 残差网络（Residual Network, ResNet）:使用具有大量层的residual blocks来减少训练误差。 residual blocks 具有以下特征：

37. Inception Network: 该架构使用 inception modules，目的是尝试不同的卷积，以通过特征的多样化来提高其性能。具体来说，它使用1×1卷积技巧来限制计算负担。

 

38. TP, FP, TN, FN, Recall, Precision

TP(True Positive)

FP(False Positive)

TN(True Negative)

FN(False Negative)

Precision = TP / (TP+FP)   准确率

Recall = TP / (TP+FN)    召回率

39. TPR, TFR, FPR, FNR

TPR: True Positive Rate 正真率 / 灵敏度

TFR: True False Rate 真负率 / 特指度

FNR: Fasle Negative Rate 假负率 / 虚警率

FPR: False Positive Rate 假正率

40. AP, mAP, P-R曲线

P-R曲线（准确-召回曲线）

AP（Average Precision）： P-R曲线下的面积；

mAP（mean Average Precision）：多个类别AP的均值；

41. ROC曲线、AUC

ROC曲线：用不同的阀值，统计出一组不同阀值下的TPR（真阳率）和FPR（假阳率）的关系。

AUC（Area under Curve）: ROC曲线下的面积；

ROC曲线的优点：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化。

IOU（Intersection Over Union）: 交并比

42. Fps、FLOPS

Fps(frames per second)：每秒处理图像的帧数；

FLOPS：每秒浮点运算次数、每秒峰值速度；

43. GOPS： 10亿次/每秒，衡量处理器计算能力的指标单位；

44. 上采样 ： upsampling的主要目的是放大图像，几乎都是采用内插值法，即在原有图像像素的基础上，在像素点值之间采用合适的插值算法插入新的元素。

45. 线性插值法：利用原图像中两个点计算像素值进行插值，

      双线性插值法：利用原图像中四个点计算目标像素值进行插值。

46. 反池化 Unpooling: 在池化过程中，记录下max-pooling在对应kernel中的坐标，在反池化过程中，将一个元素根据kernel进行放大，根据之前的坐标将元素填写进去，其他位置补0 ;

47. 反卷积(Deconvolution):  https://blog.csdn.net/francislucien2017/article/details/85772003

48. LRN（Local Response Normolization）局部响应归一化：

对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力；

ai(x,y)表示在这个输出结构中的一个位置[a,b,c,d]，第a张图的第d个通道下的高度为b宽度为c的点；a,n/2,k,α,β分别表示函数中的input, depth_radius, bias, alpha, beta，其中n, k, alpha, belta 都是超参数，一般设置k=2, n=5, alpha=1e-4, beta=0.75；