神经网络和深度学习(一):深度学习概论

视频地址：http://mooc.study.163.com/learn/2001281002?tid=2001392029#/learn/content?type=detail&id=2001701005&cid=2001694004

1、什么是神经网络

我们来看一个简单的预测房价的例子，吴恩达老师还真是喜欢用这个例子呢。

比如我们用房屋的大小来预测房屋的价格，我们在图上的得到了六个点，那么根据这六个点我们可以画出一条直线，由于房屋的价格不可能为负，因此我们的直线必须在x轴上方：

在这里，我们仅通过房屋的大小来预测它的价格，我们可以得到一个简单的神经网络：

在这里，我们通过输入一个x也就是房屋的大小来得到y，即房屋的价格，中间经过了一个神经元的变换操作，显然，这里的操作就是relu，这里对relu不了解也没有关系。

房屋的价格也可能被其他很多因素影响，比如卧室的大小，这反映了家庭的人口数。还有邮编，这可能反映的是房屋的偏僻程度或者交通便利程度。还有可能的因素是该地区的富裕程度，这可能影响该地区的学校的质量，那么我们可以通过下图来表示多种因素对房价的影响。

我们用下图的神经网络结构来表示上图，可以看到，我们的输入是4个影响因素，中间三个神经元代表隐藏层，隐藏层的神经元并没有我们上面所说的解释力，具体代表什么需要神经网络去学习，最后我们在输出层得到我们的房价y。

2、用神经网路进行监督学习

神经网络为什么效果如此显著，是因为一种机器学习方法，也就是我们所知道的监督学习方法。

监督学习在许多领域里取得了出众的成果，如实时预测，在线广告、机器翻译、无人驾驶等等。这些应用中我们要选择合适的x和y来进行监督学习。如下图：

这些应用都有不同的解决方法，比如解决图像标注问题时，我们可能用到卷积神经网络CNN，在解决语音识别，机器翻译时，我们会应用到序列信息，因此可能会用到循环神经网络RNN，下面是普通的神经网络，CNN和RNN的网络结构。

在这些监督学习中，我们会用到两种类型的数据，一种是结构化数据，另一种是非结构化数据，如下图所示：

3、为什么深度学习现在才火起来呢？

三个重要的因素使得深度学习越来越火：

1. 数据越来越多，大数据时代的来到
2. 硬件的提升，计算速度越来越快
3. 新的模型和算法的不断涌现

如果你想要得到一个好的效果，需要有两点，复杂的网络结构和足够多的训练样本。

算法和计算速度时相辅相成的，不断改进的算法提升了计算速度，计算速度的提升也催生了更多算法的出现。我们首先来看前者，一个简单的例子就是激活函数从sigmoid到修正线性单元Relu的转变，可以看到，在sigmoid函数的两端斜率非常小，导致了我们的梯度下降法学习十分缓慢，而Relu则能使我们的梯度下降法进行快速的学习。

对于后者，我们先要来说算法迭代的过程，我们有idea之后，通过代码来实现，进而进行试验，在实验过程中我们有可能修改我们的idea，从而使前面的进程不断的循环进行。

在这个过程中，计算速度的增加使得我们的实验可以更快的进行，从而导致了新算法的不断涌现。

4、关于这门课

这门课将从五个方面来展开，带你学习深度学习最基础的知识：