神经网络和深度学习第一周学习笔记

neuron network: 是一种非常强大的学习算法，这种算法的灵感来源与人类的大脑组成

ReLU

                                 ReLU函数的特点是初始值为0，之后变为一条直线

single neuron

               上图圆圈的部分代表单个神经元，其完成的任务为输入x可以输出相对应的y

                           上图表示由多个神经元聚集而成的神经网络（multiple neuron network）

                                          上图为surpervised learning的一些具体应用

对于第1，2种应用，使用standard nerual network 就可以解决，对于第三种图像，通常使用CNN（卷积神经网络），对于第4，5种应用中这样的one-dimensional sequence data,可以使用RNN(循环神经网络)，对于第六种应用，则需要更复杂的网络，也就是hybrid nerual network architecture(混合的神经网络结构)

结构化数据可以理解为可以在数据库中进行存储的表格化数据，每个特征（变量）都有着明确的定义

深度学习兴起的原因：

1）数据规模的增长

2）计算能力的提高

3）神经网络算法的改进（减少算法运行时间）

       上图表示随着数据规模的增长各种算法的表现，红线代表传统的机器学习算法（比如SVM），可以看到随着数据的增长，算法的表现在到达一定程度后不再上升，红线之上的三条线分别代表小规模，中等规模，大规模的神经网络，可以看到随着数据的规模的增长，神经网络的表现越来越优异，且神经网络的规模越大，表现的越好。

       上图中的scale有两方面的意思，一个是被标记的数据（labeled data）的规模，一个是神经网络的规模,规模的增大使得神经网络算法表现的越来越优异。

                                                          训练神经网络的迭代过程

过程：当我们有了想发之后就通过code的方式来实现，然后对模型进行训练（experiment）,查看算法的实际效果，如果算法测试的时间短，我们就能在更短的时间做更多次的实验，得到更好的模型。