吴恩达-神经网络与深度学习-第一周课程-总结

1、什么是神经网络？

神经网络是模拟人大脑神经网络以实现人工智能的技术。简单点说，神经网络即为一种映射关系 $y=f(X)$ 。以房价预测为例，假设房价只与房子大小有关，则房子的大小即为输入X，最终需要预测的为房价y，而X对于y的映射关系f即为一个最简单的神经网络。在下图中，通过训练，得到蓝线，拟合房价变化趋势，可以用来预测不同房子大小对应的房价。

但在大多数情况下，房价不只与大小有关，还与其他因素有关。通过增加神经元让神经网络模型更加复杂，建立更好的映射关系，更加准确地预测房价。

上述房价例子中的神经网络模型如下，x所在层为输入层，y所在层为输出层，中间为隐藏层，这是神经网络的基本结构。

2、用神经网络进行监督学习

监督学习

监督学习的训练集必须包括特征X和结果y，结果是在训练前人为标注，神经网络的任务是拟合已知的y与X之间的映射关系。

无监督学习

输入的样本没有被标记，也没有确定的结果。样本数据结果未知，需要根据样本间的相似性对样本集进行分类，机器试图使类内差距最小化，类间差距最大化。非监督学习目标不是告诉计算机怎么做，而是让计算机自己去学习怎样做。

结构化数据

数据的数据库，数据可以数据库存储，对于每一个特征都有明确的定义。

非结构化数据

例如音频、图像、文字等，特征即为一个个像素值，或是一个个单词。

3、为什么深度学习会兴起？

上图是随着数据量的增加算法性能的变化趋势，可以看到，随着数据量的增多，大规模神经网络表现的性能越来越优越。
深度学习的兴起可以归结于以下三个因素：
1、数据
随着互联网、物联网、大数据等技术的发展，数据体量变得越来越庞大，获取需要的数据变得越来越简单。
2、计算能力
CPU、GPU的发展，使得大规模的神经网络训练需要更短的时间。
3、算法
算法的创新和改进，使神经网络运算的更快，比如将激活函数sigmoid换为relu函数，sigmoid函数存在梯度消失，使得学习变得异常缓慢。