深度学习常见概念通俗解释！（持续更新）

      深度学习是一个正在快速发展的领域，总是出现很多新的时髦的概念，笔者在这里对里面经常出现的一些概念进行解释，力求通俗易懂。如果能对各位读者带来帮助，我将深感欣慰！

1. 梯度消失：神经网络相当于多层复合函数，因此在反向传播算法中计算梯度时需要按照求导的链式法则一层一层的连续相乘，如果连续出现梯度很小的情况会导致梯度越乘越小，接近于0，这就叫做梯度消失。（反向传播算法采用的是梯度下降算法，因此梯度消失现象会导致远离输出层的网络难以训练）
2. 梯度爆炸：与梯度消失相反，在梯度连乘的过程中，梯度连续出现很大的值，导致连乘之后的梯度非常大。同样地，梯度爆炸也会造成训练的困难。
3. backbone：一般是指目标检测网络框架中用于特征提取的那部分CNN。
4. 池化：对图像进行降采样，常用的有最大值池化和平均值池化。
5. batch size：每次训练送入的样本数目。
6. epoch：将所有样本训练一遍为一个epoch。
7. FC层：全连接层，即前一层的每一个单元与本层的每一个单元都相连。
8. 查准率（Precision)：检测出来的所有目标中，正确目标所占的比例。
9. 查全率（Recall)：很多文章又称召回率，意思是检测出来的（本类）正确目标数占样本中实际所有（本类）目标数的比例。
10. AP：P-R曲线所包围的面积。计算方法是：求一组11个等间距recall [0, 0.1, 0.2,…,1] 水平下的precision的平均值，不同recall对应不同置信度阈值，换句话说就是求11个不同置信度阈值下的precision的平均值，11个置信度要使得recall分别取到0、0.1、......01这几个值。
11. mAP：平均精度均值，所有检测类别的AP的平均值。
12. IOU：交并比，即两个矩形框的交集面积除以并集的面积。
13. NAS：即Neural Architecture Search，神经架构搜索，通过某种优化搜索方式自动寻找最合适的神经网络架构。
14. Single Shot detection：区别于两阶段的目标检测，single shot 指的是得到特征图之后，直接通过一个网络同时进行候选框的分类与回归并输出结果。
15. TPU：全称张量处理单元，这是谷歌公司设计的专门用于处理神经网络工作的矩阵处理器，比GPU和CPU速度更高，能耗更低。
16. FLOPs：每秒浮点运算次数，数值越高，电脑的运算速度越快。
17. Top-5正确率/错误率：这是ILSVRC竞赛对于算法的一个评价标准。假如算法的目的是判断80个类别，那么输入一张图像，算法将输出一个80维的向量，分别是80个类别的预测概率，按照概率大小，取前五个概率所对应的类别，如果其中包含了测试图像所属的类别，则认为算法预测正确，否则认为预测错误。
18. Top-1正确率/错误率：同上，不同之处是只取输出概率向量中数值最大的那个类别，如果其为测试图像的所属类别，则认为算法预测正确，否则认为预测错误。因此如果算法的top-1正确率越高或错误率越低，说明算法的效果越好。