【深度学习基础】——基本概念和术语整理

1. 人工智能（AI）、机器学习（ML）和深度学习（DL）

1.1 人工智能

人工智能（AI，Artificial Intelligence）是对人类智能在计算机上的复制。人工智能作为一门学科成立于1956年。当时的目标和现在一样，是让计算机执行被认为是人类独有的任务:即需要智力的任务。最初，研究人员研究的问题包括玩跳棋和解决逻辑问题。

1.2 机器学习

机器学习（ML，Machine Learning），指的是机器使用大量数据集而非硬编码规则来进行学习的能力。

硬编码算法或固定的、基于规则的系统在图像识别或从文本中提取含义等方面表现不佳。结果证明，解决方法不仅仅是模仿人类行为(AI)，而是模仿人类的学习方式。

1.3 深度学习

深度学习（DL，Deep Learning），简而言之，深度学习就是使用更多神经元、层次和相互连接的神经网络。我们离模拟人类大脑的复杂性还有很长的路要走，但我们正在朝着这个方向前进。

1.4 人工智能、机器学习和深度学习的关系

随着人工智能的研究，人工智能的领域也在不断扩大，下图展示了人工智能研究的各个分支，包括专家系统、机器学习、进化计算、模糊逻辑、计算机视觉、自然语言处理、推荐系统等。AI、ML和DL的关系如下图所示。

2 监督学习与无监督学习

• 监督学习

从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求包括输入输出，也可以说是特征和目标。

常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归

• 无监督学习

我们不知道数据集中数据、特征之间的关系，而是要根据聚类或一定的模型得到数据之间的关系。

非监督学习目标不是告诉计算机怎么做，而是让它（计算机）自己去学习怎样做事情。非监督学习有两种思路。

• 一类为基于概率密度函数估计的直接方法：指设法找到各类别在特征空间的分布参数，再进行分类。
• 另一类是称为基于样本间相似性度量的简洁聚类方法：其原理是设法定出不同类别的核心或初始内核，然后依据样本与核心之间的相似性度量将样本聚集成不同的类别。

如下图所示，在无监督学习中，我们只是给定了一组数据，我们的目标是发现这组数据中的特殊结构。例如我们使用无监督学习算法会将这组数据分成两个不同的簇,，这样的算法就叫聚类算法。

3. 深度神经网络（deep neural networks，DNN）

深度神经网络（deep neural networks，DNN）是深度学习目前几乎唯一行之有效的实现形式。简单的说，深度神经网络就是很深的神经网络。我们利用网络中逐层对特征进行加工的特性，逐渐从低级特征提取高级特征。除了深度神经网络之外，有学者在探索其他深度学习的实现形式，比如深度森林。

• 为什么要使用深层网络

• 深度神经网络的学习是特征递进的，浅层的神经元只能学习一些低层次的简单特征（如边缘、纹理），而深层神经网络可以学到更高级特征。
• 深层网络的隐藏单元数目较少，隐藏层数目较多。 若浅层网络想达到同样的计算结果须指数级增长单元数量。
• 在神经元数量相同的情况下，深层网络具有更大容量，能构造更复杂的映射关系。

4. 激活函数（activation function）

激活函数是神经网络的必要组成部分，数据经过函数运算后由激活函数映射输出。如果没有激活函数，多次线性运算的堆叠仍然是一个线性运算。如下图，Y的表达式f，就是一个激活函数。也就是说，每一个输入都有自己的权重，权重和输入的值相乘，然后加上一个偏置b之后在经过一个函数f得到输出y，这个f就是激活函数。

$$Y=f(w_1\ast x_1+w_2\ast x_2+b)$$

• 激活函数的作用

• 可以引入非线性因素，方便学习复杂数据。
• 激活函数可以把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类。

下面介绍一些常用的激活函数。

4.1 sigmoid

输入一个实值，输出一个 0 至 1 间的值。
$$f(x)=\frac{1}{1+e^{-x}}$$

其导函数图像如下所示：

4.2 tanh激活函数

其值域范围为(-1, 1)。
$$f(x)=tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

4.3 Relu激活函数

其值域范围为$[0,\infty )$。
$$f(x)=max(0,x)$$

Relu激活函数的优点：

• 导数为1，解决了梯度消失、梯度爆炸问题。
• 计算方便,加速了网格的训练。
• 正饱和区的梯度大于0，不会造成梯度弥散。

Relu激活函数的的缺点：

• 由于负数部分恒为0，会导致一些神经元无法激活（可通过设置小学习率部分解决）
• 输出不是以0为中心的

4.4 Leak Relu 激活函数

其值域范围为$[-\infty ,\infty )$。
$$f(x)=max(kx,x)$$

解决了Relu中0区间的影响，k为leak系数，一般选择0.01或0.02。

4.5 Softmax激活函数

Softmax 多用于多分类神经网络输出。

4.6 激活函数的性质

1. 非线性
2. 可导性：梯度计算
3. 单调性：当激活函数是单调的时候，单层网络能够保证是凸函数
4. $f(x)\approx x$：训练更高效

4.7 激活函数的选择

1. sigmoid 激活函数：仅仅输出层为2分类问题时使用。
2. tanh 激活函数：tanh 是非常优秀的，几乎适合所有场合。
3. 如果在隐藏层上不确定使用哪个激活函数，那么通常会使用 Relu 激活函数。有时，也会使用 tanh 激活函数。
4. 如果遇到了一些死的神经元，我们可以使用 Leaky Relu 函数。

5. 欠拟合与过拟合

5.1 欠拟合

模型不能很好的拟合数据，通常表现在训练集上准确率不高。

• 判断方法

每次只训练相同的数据，若一段时间后准确率很高，则说明网络的拟合能力不足，即当前网络无法拟合全部数据。

• 欠拟合的解决方法

• 增加网络的深度
• 减小正则化参数

5.2 过拟合

模型学的太彻底，把一些噪声特征也学到了。通常表现在训练集上表现很好，但在测试集上准确率不高。

• 判断方法

模型在验证集合上和训练集合上表现都很好，而在测试集合上变现很差。过拟合即在训练误差很小,而泛化误差很大,因为模型可能过于的复杂.

• 解决方法

• 增加训练数据量，并对已有数据进行样本增强。
• 采用正则化（dropout、L1、L2正则）
• 提前终止训练

下列图片为欠拟合与过拟合的示例。

5.3 解决过拟合与欠拟合的方法

（1）正则化(过拟合)

正则化是一种减小测试误差的行为，通常用于防止模型的过拟合问题。

理论上，当损失函数为0时，预测结果与实际情况完全一致，但是此时模型的过拟合现象显然已经发生，模型不再具备任何泛化能力，即对于输入的新数据，模型将无法做出正确的判断。既然知道了过拟合发生的数学原因，解决的办法就是给模型增加一个约束，限制最终参数的取值范围，让原有损失函数无法取到0，因此就出现了正则化的方法，即在上述公式的最后人为添加一个约束。

（2）数据增强(欠拟合)

欠拟合的现象也常会发生，这是由于在实际工作当中，获取训练数据的成本很高，与海量现实信息相比，人们掌握的数据量往往少的可怜。为了解决数据量的问题，就出现了数据增强所谓数据增强，就是通过一些技术手段，使原来不那么丰富的数据变得丰富起来。总体来说，数据增强的作用有两点：

1. 增加训练数据量，提高模型的泛化能力。
2. 增加噪声数据，提升模型的鲁棒性。

以图像数据为例，数据增强的方法有如下几种：

1. 图像翻转：数据翻转是一种常用的数据增强方法，这种方法也可以看作对数据做镜像处理，顾名思义这种方法是做一种类似于镜面的翻折。
2. 图像旋转：旋转就是顺时针或者逆时针的旋转，旋转的时候尽量旋转 90 － 180 度否则会出现尺度的问题。
3. 图像缩放：图像可以被放大或缩小。放大时，放大后的图像尺寸会大于原始尺寸。大多数图像处理架构会按照原始尺寸对放大后的图像进行裁切而图像缩小会减小图像尺寸，这使我们不得不对图像边界之外的东西做出假设。
4. 图像剪裁：这种方法也可以叫做裁剪，效果甚至可以看作是局部随机放大，图像剪裁随机从图像中选择一部分，然后将这部分图像裁剪出来，再调整为原图像的大小。
5. 像平移：将图像沿着 x 或者 y 方向 （或者两个方向） 移动。我们在平移的时候需对背景进行假设，这一点类似于图像缩放，需要对原来没有的区域进行填充，比如说假设为黑色等等，因为平移的时候有一部分图像是空的，由于图片中的物体可能出现在任意的位置，所以说平移增强方法十分有用。
6. 添加噪声：过拟合通常发生在神经网络学习高频特征的时候 (因为低频特征神经网络很容易就可以学到，而高频特征只有在最后的时候才可以学到) 而这些特征对于神经网络所做的任务可能没有帮助，而且会对低频特征产生影响，为了消除高频特征我们随机加入噪声数据来消除这些特征。

（3）Dropout(过拟合)

我们知道，典型的神经网络其训练流程是将输入通过网络进行正向传导，然后将误差进行反向传播。Dropout就是针对这一过程之中，随机地删除隐藏层的部分单元，进行上述过程。综合而言，上述过程可以分步骤为：

1. 随机删除网络中的一些隐藏神经元，保持输入输出神经元不变；
2. 将输入通过修改后的网络进行前向传播，然后将误差通过修改后的网络进行反向传播；
3. 对于另外一批的训练样本，重复上述操作.

• 传统的神经网络
  
• 引入Dropout之后的计算过程
  

（4）训练提前停止(过拟合)

假如我们设置得训练次数是30次，但是训练了20次之后，验证集得损失不再下降，精确度不再上升，所以第20轮之后。模型逐渐开始过拟合。对于这种特殊情况，我们可以通过在二十个左右的时期之后停止训练来防止过度拟合。

6. CNN（Convolution Neural Networks）卷积神经网络

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。基础的CNN由 卷积(convolution), 激活(activation), and 池化(pooling)三种结构组成。

与常规神经网络不同，卷积神经网络的各层中的神经元是3维排列的：宽度、高度和深度。其中的宽度和高度是很好理解的，因为本身卷积就是一个二维模板，但是在卷积神经网络中的深度指的是激活数据体的第三个维度，而不是整个网络的深度，整个网络的深度指的是网络的层数。举个例子来理解什么是宽度，高度和深度，假如使用CIFAR-10中的图像是作为卷积神经网络的输入，该输入数据体的维度是32x32x3（宽度，高度和深度）。我们将看到，层中的神经元将只与前一层中的一小块区域连接，而不是采取全连接方式。对于用来分类CIFAR-10中的图像的卷积网络，其最后的输出层的维度是1x1x10，因为在卷积神经网络结构的最后部分将会把全尺寸的图像压缩为包含分类评分的一个向量，向量是在深度方向排列的。下列是全连接神经网络与卷积神经网络的对比。

7. RNN（Recurrent neural network） 递归神经网络

样本出现的时间顺序对于自然语言处理、语音识别、手写体识别等应用非常重要。为了能对时间序列上的变化进行建模， 比如当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列，就出现了另一种神经网络结构——循环神经网络RNN（不知道为什么很多叫循环的。计算机术语里循环一般是同一层次的，Recurrent 其实是时间递归，所以本文叫他递归神经网络）。

在普通的全连接网络或CNN中，每层神经元的信号只能向上一层传播，样本的处理在各个时刻独立，因此又被成为前向神经网络(Feed-forward Neural Networks)。而在RNN中，神经元的输出可以在下一个时间戳直接作用到自身。下图是一个简单的循环神经网络图：

如果把上面有W的那个带箭头的圈去掉，它就变成了最普通的全连接神经网络。x是一个向量，它表示输入层的值（这里面没有画出来表示神经元节点的圆圈）；s是一个向量，它表示隐藏层的值（这里隐藏层面画了一个节点，你也可以想象这一层其实是多个节点，节点数与向量s的维度相同）；U是输入层到隐藏层的权重矩阵，o也是一个向量，它表示输出层的值；V是隐藏层到输出层的权重矩阵。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。

我们给出这个抽象图的具体图：

8. 损失函数、代价函数和目标函数

• 损失函数（Loss Function ）

损失函数是定义在单个样本上的，算的是一个样本的误差。

• 代价函数（Cost Function ）

代价函数是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。

• 目标函数（Object Function）

目标函数是最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。

损失函数和代价函数越小越好，目标函数可能是最大值，也可能是最小值。

在线性回归中，最常用的代价函数是均方误差(Mean squared error)。在逻辑回归中，最常用的是代价函数是交叉熵(Cross Entropy)
。

9. 目标评价指标

如上图所示，绿颜色的为GT Box（ground truth box），红颜色的Predict Box。如果要正确检测出图中的猫和狗，那怎么才能算是正确的检测呢?下边的这三个标准是都需要看的:

1. GT与预测框IoU是否大于阈值
2. 预测的类别是否正确？
3. 置信度是否大于阈值？

9.1 交并率(IoU, Intersection over Union)

IoU的作用是评价两个矩形框之间的相似性，在目标检测中是度量两个检测框的交叠程度。计算公式如下：
$$\frac{area(B_{gt}\cap B_p)}{area(B_{gt}\cup B_p)}$$

其中$B_{gt}$表示GT Box，$B_p$表示Predict Box。

9.2 查准率和查全率（Precision ， Recall）

下列Positive和Negative表示模型对样本预测的结果是正样本(正列)还是负样本(负例)。True和False表示预测的结果和真实结果是否相同。

概念	解释	备注
True positives(TP)	被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数。	IoU>IOU，IOU一般取0.5
False positives(FP)	被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数。	IoU<=IOU
False negatives(FN)	被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数。	没有检测到GT的数量
True negatives(TN)	被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数。	一般不会使用

如果假设IoU阈值为0.5的话，那在目标检测中：

1. TP：表示IoU>0.5的检测框的数量，也就是检测正确的数量。
2. FP：表示IoU≤0.5的检测框数量（或者是检测到同一GT的多余的检测框的数量），属于误检一类了。
3. FN：表示没有检测到的GT数量，即漏检的数量。

• 查准率（Precision）

被预测为正样本的检测框中预测正确的占比。其中$alldetctions$ 代表所有预测框的数量。
$$Precision=\frac{TP}{TP+FP}=\frac{TP}{alldetections}$$

如上图所示，图中GT共有5只猫待检测，但实际上只检测出来了一只，而且这个检测是正确的。那这种情况下的查准率就是：
$$Precision=\frac{1}{1}=100\%$$

• 查全率(Recall)

被正确检测出来的真实框占所有真实框的比例，$allgroundtruths$ 代表所有 GT 的数量。
$$Recall=\frac{TP}{TP+FN}=\frac{TP}{allgroundtruths}$$

同样是上边有5个待检测的GT，这次得到了50个预测框，其中5个全部预测正确，这种情况下TP=5，漏检FN=0最终的查全率为：

$$Recall=\frac{5}{5+0}=100\%$$

9.3 AP和mAP

AP 是计算某一类 P-R 曲线下的面积，mAP 则是计算所有类别 P-R 曲线下面积的平均值。其中P是查准率Precision，R是查全率Recall。PR曲线如下所示：

下面以3张图片为例，说明AP和mAP的计算过程：

在所有的图片中（当前只有上图一张），待检测的目标的数量$nu{m}_{ob}=2$，上图中的检测情况如下表所示：

GT id	Confidence	OB（IoU=0.5）
1	0.98	True
1	0.61	False

该表中的顺序是按Confidence从高到低排序的，对于一个GT来说，只能有一个检测框为正确的检测。

加入第二张图片，此时待检测的目标数量$nu{m}_{ob}=3$，检测情况如下表所示

GT id	Confidence	OB（IoU=0.5）
1	0.98	True
3	0.89	True
3	0.66	False
1	0.61	False

加入第三张图片，加上前两张中的待检测目标，共有 $nu{m}_{ob}=7$个目标需要检测，检测情况如下表所示：

GT id	Confidence	OB（IoU=0.5）
1	0.98	True
3	0.89	True
6	0.88	True
7	0.78	True
3	0.66	False
1	0.61	False
4	0.52	True

依次取Confidence的阈值为[0.98, 0.89, 0.88, 0.78, 0.66, 0.61, 0.52]，计算对应的查准率和查全率如下表所示：

Rank	Precision	Recall	Confidence thread
1	1.0	0.14	0.98
2	1.0	0.28	0.89
3	1.0	0.42	0.88
4	1.0	0.57	0.78
5	0.80	0.57	0.66
6	0.66	0.57	0.61
7	0.71	0.71	0.52

以Confidence thread=0.52为例：
此时的TP=5，误检FP=2，第一张和第三张两张图片共漏检FN=2，所以

$$Precision=\frac{TP}{TP+FP}=\frac{5}{5+2}=0.71$$
$$Recall=\frac{TP}{TP+FN}=\frac{5}{5+2}=0.71$$
绘制出对应的P-R曲线图：

计算曲线下方的面积，也就是猫这一类别的AP：
$$(0.14-0)\times 1.0+(0.28-0.14)\times 1.0+(0.42-0.28)\times 1.0+(0.57-0.42)\times 1.0+(0.71-0.57)\times 0.71=0.6694$$

对于表格中Recall相同的，只保留Precision最高的值进行计算，最终得到猫这一类的AP=0.6694，如果要计算mAP则需要计算出其他类别的AP，并取平均值。

---

参考列表：

1. https://www.zhihu.com/question/57770020
2. https://blog.csdn.net/u010947534/article/details/82025794
3. https://blog.csdn.net/weixin_42454048/article/details/99939086?utm_medium=distribute.pc_relevant.none-task-blog-2_defaultbaidujs_baidulandingword~default-1.no_search_link&spm=1001.2101.3001.4242.1
4. https://www.cnblogs.com/sykline/p/15120002.html
5. https://blog.csdn.net/LEEANG121/article/details/102710769
6. https://blog.csdn.net/abc200941410128/article/details/79269386?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5.no_search_link#t14
7. https://zhuanlan.zhihu.com/p/30844905