吴恩达神经网络和深度学习课程自学笔记（一）之深度学习概论

一：什么是神经网络？

拿房价预测举例：中间那条拟合的直线（包括等于0的部分）叫做ReLU（修正线性单元）函数。

ReLU 函数就是最简单的神经元（单个神经元），输入x,输出y。

 （单个神经元）

多个单个神经元堆积成神经网络：

下面是它的标准形式：

X1，X2，X3，X4是输入层，它们所代表的意义由我们决定；中间四个圆圈是隐藏单元；最终输出y。

二：用神经网络进行监督学习

常见的神经网络应用：

图像数据（自动驾驶）一般使用卷积神经网络；序列数据（语音、语言）一般使用循环神经网络。

常见的神经网络：

从左至右依次为标准神经网络（SNN）、卷积神经网络（CNN）、循环神经网络（RNN）。

机器学习使用的数据分为结构化数据和非结构化数据。

结构化数据一般是数据库；非结构化数据包括音频、图像、文本。

非结构化数据让计算机更难理解，而神经网络可以让计算机更容易地理解非结构化数据。

三：为什么深度学习会兴起？

横轴为数据量，纵轴为机器学习性能。红色线平缓的地方表示模型（例如SVM,Logistic等）无法处理海量数据。使用小的神经网络性能会有所提升，而且随着神经网络规模的增大，性能也越来越高。（在前面小的训练数据集情况下，神经网络并不一定比一些机器学习模型优秀。）

深度学习兴起的三大原因：

1.数据规模增大

2.计算能力提高（神经网络规模增大）

3.算法改进（例如使用sigmod函数替代ReLU函数，梯度下降速度更快）

训练神经网络的步骤：

首先有想法，然后通过编写代码实现，然后进行试验，运行程序观察结果，然后根据结果改进，再进行编写代码实现，循环往复，直至训练出优秀的神经网络。