吴恩达Deeplearning.ai.course1笔记

目录

 什么是神经网络

单一神经网络

多元神经网络

用神经网络进行监督学习

神经网络的类型示例 

 结构化数据与非结构化数据

 为什么深度学习会兴起 

1)一张图表明深度学习/神经网络兴起的原因--规模推动深度学习发展

2)规模推动深度学习发展的具体原因

3)训练神经网络的过程

---

 什么是神经网络

单一神经网络

 以预测房价来举例，在一个x轴表示房子面积，y轴表示房价的坐标图中，标示出6所房屋的信息（如图红×所示），然后通过线性拟合的方式作出一条斜线，因为房价不可能为负，所以前半段数据是为零的。整体就能得出蓝线所示的线性方程。我们称这个方程为"ReLU方程"(ReLU:Rectified Linear Unit修正线性单元)。 我们可以把房屋的特征加上上面拟合得到的函数看成是一个非常简单的神经网络。

多元神经网络

 可以把上面的单一神经元看成是单独的一块乐高积木，我们可以用这块积木堆叠出复杂的多元神经网络。接着上面预测房价的例子，我们知道影响房价的因素不单单是房子面积，还有房间数目，邮编，区域的富裕程度等各种因素。房子面积和房间数目会影响家庭规模，邮编又影响着步行化的程度，邮编和区域的富裕程度影响着学校的质量。而家庭的规模，步行化的程度和学校的质量都将影响房价，结合这些特征就能预测出房价。这样就构成如下图的多元神经网络:

图中的每个小圆圈都可以看成是ReLU函数。从图中可以看出家庭规模，步行化的程度和学校的质量处于中间层。神经网络神奇的一点是：当你实现它之后，可以把中间层类似的看成黑盒，这样我们不用去管中间层是什么，中间的训练集有多大，只要从左边输入多个变量x，右边就会得到相应的输出y。所有的中间过程神经网络都会自动完成。 实际实现的多元神经网络如下图所示：

 也就是说，当你给出输入，神经网络的工作就是预测出对应的输出。 要注意，处于神经网络中间层的各个元素被称为隐藏单元，它们也可被定义成其他影响房价的因素，这可以由我们自己来定义，而且也不单单由其中两项输入的内容所决定。所以，中间层和输入层的连接数是很高的。因为每个隐藏单元都和输入层的各个元素产生关联。 还值得注意的是，在神经网络中，你喂给它足够多的关于x，y的数据，给到足够多的训练样本，神经网络就非常擅长于计算从x到y的精准映射函数。

---

用神经网络进行监督学习

在监督学习中，我们输入一个x，就能得到对应的输出y。如第一节课提到的预测房价的例子：输入房子的各种特征，我们就能预测到输出的房价。还有在线广告也是个很好的例子：通过呈现的广告以及用户的信息等等，可以判断用户是否会点击广告。还有其他的图像识别，语音识别，机器翻译和自动驾驶等等应用。其中房价预测和在线广告的用的是标准的神经网络(Standard NN)；而图像识别用的是卷积神经网络（CNN）；语音识别和机器翻译是一维序列数据，它们用的是循环神经网络（RNN）；最后的无人驾驶比较复杂，用的是混合的神经网络。

神经网络的类型示例 

从左往右分别是：标准神经网络，卷积神经网络和循环神经网络

 结构化数据与非结构化数据

 1.结构化数据：就是数据库数据 ，它具有明确的定义的，例如：价格，年龄等等 2.非结构化数据：音频，图像，文本等这类信息

---

 为什么深度学习会兴起 

一张图表明深度学习/神经网络兴起的原因--规模推动深度学习发展

 

注意要到达图中黑点所示的效果要做到以下两点： 1） 能够训练出规模足够大的神经网络 2） 拥有大量的标签数据

规模推动深度学习发展的具体原因

• Data ：处于数字化信息时代，拥有海量的数据
• Computation：计算能力在不断的增长
• Algorithms：算法在不断创新，算法的创新也在推动着计算能力的增长

训练神经网络的过程

 

神经网络的训练过程就是上图所示的循环过程，如果训练十分庞大的数据的话会花费很长的时间。然而更快的计算能力能够加快迭代和证明新的算法。