深度学习 - 基础概念与知识

深度学习基础知识与概念

 

1. 深度学习与机器学习

机器学习是人工智能实现的方式之一，而深度学习是机器学习的一个研究方向。

 

1.1 机器学习

机器学习是人工智能的实现方式之一，当然应该还有其他的方式，暂且不予讨论。当前机器学习一般的，可分为三类，分别是监督学习、无监督学习和强化学习。

监督学习，广义上就是指依赖于一组带有标签的数据，通过训练获得一组经验模型。深度学习中，通过标注数据，网络训练以实现目标识别，分割等均属于监督学习。

无监督学习则是针对无标签数据，典型的就是聚类算法，自动找到这些没有标记的数据里面的数据结构和特征。

强化学习，介于两者之间，虽然没有精准的标签或者错误信息，但是对于每个可预测的步骤或者行为，会有某种形式的反馈（摘自知乎）。

我们平常接触的决策树、朴素贝叶斯、最小二乘、逻辑回归、支持向量机（SVM）均属于监督学习。聚类、之成分分析、奇异值分解等则属于无监督学习。

 

1.2 深度学习

深度学习是机器学习的一个研究方向，典型的是利用深度神经网络来训练数据，学习特征。

当前深度网络主要还是CNN和RNN（传统的NN不在此讨论范围内，大家自行学习）。CNN主要用于图像分类，目标检测、分割，风格转换等，而RNN由于加入了时间相关的记忆网络，多用于带有上下承接关系的场合，如自然语言处理，语音识别等领域。

                                                                                图一 目标检测、分类

                                                                 图二 目标分割（图像来自Imagination Tech）

图三 风格转换

2. 深度学习基本脉络

前面说过，深度学习主要是利用深度神经网络，具体的说是深度卷积神经网络（有些片面，但也有典型性）来训练带有标签的数据。

通俗点说，首先采集数据，数据中含有感兴趣的目标，如人、车等。采用数据标注的方式将目标标注出来，用于提取正例。没有提取反例能力的网络还需要手动提供反例标注。

数据准备好以后就是训练了，拿来开源的FRCNN，YOLO（v3），SSD，或者战斗力强的自己搞一个网络，开始训练就好了。

3. 深度网络中的知识点

 3.1 卷积

卷积（此处只涉及二维卷积）是一种数学运算，深度学习中使用的卷积运算是一种无翻转卷积，实质上是一种互相关操作。为什么不需要反转呢

深度学习中的卷积操作，是指将输入图像与卷积核（3*3, 5*5）等进行矩阵的成绩操作，并将通道进行叠加。此处不做深入讲解，毕竟网上的资料太多了，没必要重复造轮子，一张图演示一下。

                                                                                         图四 单通道卷积

上图演示的是单通道卷积，如果是RGB三通道图像，则需要多执行一步相加操作。

 

 

3.2 池化

池化的根本目的是减低计算量，通过类似于采样的形式，将Feature Map缩放至较小的尺度，是对信息进行抽象的过程。池化以后增大了感受野，增强了平移不变性，并在一定程度上减少了计算量。

目前使用频率比较高的是最大池化和平均池化。顾名思义，最大池化就是选取区域中的最大值，平均池化就是去区域的平均值。

                                                                            图五 最大池化和平均池化

 

3.3 激活

激活函数是为了实现非线性。

参照著名的Rosenblaat感知机单层模型，如果没有激活函数，单层感知机就是一个普通的线性模型，同理，即使是多层感知机，也同样是线性的。激活函数的引入，为模型添加了非线性属性，才有了后来NN、CNN或RNN等强大的拟合能力。

                                                                                        图六 单层感知机

 

3.4 损失函数

损失函数用来评估模型的预测值-f(x)与真实值-y的不一致程度，在执行反向传播时，会根据损失函数的结果来优化模型中的参数。

深度学习中，比较常用的有MSE和交叉熵损失，有些组合性质的loss函数也基本上是基于上述两个得到。MSE常用语回归问题，交叉熵常用于分类问题。具体细节大家可参照网络资源。