1.1 深度学习概论（Introduction to Deep Learning）

1. Welcome

    本课程旨在培养成千上万的人使用人工智能，去解决真实世界的实际问题，创造一个人工智能驱动的社会。——Andrew Ng

人工智能是一次新的电力革命

电力曾经改变了不计其数的行业，比如：运输、制造、医疗、通信等。

现在，人工智能带来了一次不亚于电力革命的新变革。

2. 什么是神经网络？（What is Neural Network？）

    深度学习（Deep Learning）指的是训练神经网络，有些时候神经网络的规模非常庞大。那么，神经网络究竟是什么呢？本次课程就回答了这个问题，并以预测房价为例讲解了神经网络相关的基础知识。

    单神经网络

    首先，假设有一组六套房子的数据集，房屋面积与房屋价格之间的关系如下图所示：

图1 房屋面积与价格数据集

    那么，根据这个给定的数据集，要找到一个可以根据房屋面积预测房屋价格的函数应该如何做呢？如果你懂得线性回归，那么根据给定的数据集，可以看出，上图中的所有点可以拟合成一条直线。但是，房价不可能为负数，简单的用一条直线来拟合不太合适，因此需要对这条直线进行修正，使得最小房价为0。最终形成一条下图所示的蓝色的折线即为房价预测函数：

图2 房屋价格预测函数曲线

        这个简单的房屋预测函数即可看作是一个做简单的神经网络。房屋面积可以看作是神经网络的输入变量x，经过一个计算节点，输出房屋价格y，其中的计算节点即为一个独立的神经元。这个神经元所做的事情就是根据输入面积，完成图2所示的线性运算，并取不小于0的值作为最终的输出：预测价格。这个简单神经网络如下图所示：

图3 单神经元神经网络

        这个函数在很多神经网络的文献中都能见到，它是以0为起点，然后就是一条直线（图2），这个函数被称为修正线性单元（Rectified Linear Unit，ReLU）。这个修正就是指函数的值不小于0。

        复杂神经网络就是由很多个单神经元神经网络堆叠而成，这些神经元就像乐高积木，一个更大的神经网络就是将一个个神经元像搭积木一样进行组装。下面继续以预测房价为例进行说明。

        房价除了与房屋面积有关，还会受到其他一些因素的影响，如：卧室数量与房屋面积共同决定房子里面可以住几个人，邮编代表了一个区域的周边设施是否齐全，也就是说到一些必要的场所是否可以通过步行到达；同时，邮编和财富程度可能会决定了附近的学校的质量。所有上面这些因素结合起来，就可以根据人们的不同偏好预测人们愿意在相关特性的房屋上花费多少钱。在这个更大一些的神经网络中，房屋面积、卧室数量、邮编和财富就是输入参数x，预测的房价就是y。通过将简单的神经元的堆叠，形成更大的神经网络。

图4 房价预测过程分析

        神经网络的神奇之处就在于，只要给出输入输出数据集，所有中间的运算过程神经网罗都可以自动拟合中间的运算过程。

        每个神经元具体代表含义以及它与哪些输入层的特征相关是由神经网络自己决定，而非人工确定。神经网络训练需要足够多的训练样本，才可以达到计算从x到y的精准映射函数。

图5 房价预测神经网络

3. 用神经网络进行监督学习

        监督学习：给定数据集，并且输出结果可预期，即输入数据与输出结果之间存在某种关联。监督学习可以归类到回归问题和分类问题中。

        1) 回归问题：将输入变量与输出变量用一个连续函数进行映射。

        2) 分类问题：将输入变量映射到离散的分类中。

下面是一些监督学习的示例：

图6 监督学习示例

        常用的神经网络种类包括：

        1) 卷积神经网络（Convolution Neural Network，CNN）：常用于图像识别；

        2) 循环神经网络（Recurrent Neural  Network，RNN）：常用于一维序列数据的分析，如英译汉等；

        3) 混合神经网络（Hybrid Neural Network）：应用领域：自动驾驶。

        神经网络的输入层数据根据数据有无结构可以分为：结构化数据和非结构化数据两类。结构化数据指的是有明确含义的数据，通常存储在关系型数据库中；而非结构化数据一般是指代某个事物，如图像、音频和文本。

4. 为什么深度学习会兴起？

规模驱动深度学习进程

深度学习的兴起主要源于以下三个因素：

        1) 大规模的存量数据；

        2) 更快的计算速度；

        3) 神经网络算法的创新。

为了能够使神经网络运行性能更加高效，需要从以下两方面入手：

        1) 训练一个尽可能大的神经网络；

        2) 大量的有标记数据。

图7 深度学习演进历程

        神经网络的训练是一个不断迭代循环的过程：

图8 神经网络训练过程