神经网络基础笔记

1.概念

模拟生物的神经系统，对函数进行估计或者近似

2.神经元

2.1 神经网络中的基础单元，相互连接,组成神经网络
2.2 t=f(WA+B)
2.3 一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性传递函数得到一一个标量结果。

3.单层神经网络

是最基本的神经元网络形式，由有限个神经元构成，所有神经元的输入向量都是同一个向量。由于每一-个神经元都会产生一个标量结果， 所以单层神经元的输出是一个向量，向量的维数等于神经元的数目。

4.感知机

感知机由两层神经网络组成，输入层接收外界输入信号后传递给输出层(输出+1正例，-1反例)输出层是M-P神经元，其中从w0,w1,…wn都表示权重。

感知机的作用:
把一个n维向量空间用一个超平面分割成两部分，给定一个输入向量,超平面可以判断出这个向量位于超平面的哪一边,得到输入时正类或者是反类,对应到2维空间就是-条直线把-一个平面分为两个部分。（二分类问题，给定阈值，判断数据属于哪一部分）

5.多层神经网络

多层神经网络就是由单层神经网络进行叠加之后得到的，所以就形成了层的概念,常见的多层神经网络有如下结构:

●输入层(Input layer) ，众多神经元(Neuron) 接受大量非线形输入消息。输入的消息称为输入向量。

●输出层(Output layer)，消息在神经元链接中传输、分析、权衡，形成输出结果。输出的消息称为输出向量。

●隐藏层(Hidden layer) ，简称"隐层"，是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有一层或多层。隐层的节点(神经元)数目不定，但数目越多神经网络的非线性越显著，从而神经网络的强健性(robustness) 更显著。

全连接层：全连接层:当前一层和前一层每个神经元相互链接，我们称当前这一-层为全连接层。

6.激活函数

假设我们有这样一组数据， 三角形和四边形，需要把他们分为两类

通过感知机模型可以画出一条线，把平面分开，不是一条直线能划分

假设我们确定了参数w和b之后,那么带入需要预测的数据,如果y>0,我们认为这个点在直线的右边，也就是正类(三角形)，否则是在左边(四边形)

但是可以看出，三角形和四边形是没有办法通过直线分开的，那么这个时候该怎么办?可以考虑使用多层神经网络来进行尝试，比如在前面的感知机模型中再增加一层

对上式合并同类项

上式括号中的都为w参数，和公式y= W1x1 + w2x2 + b完全相同，依然只能够绘制出直线所以可以发现，即使是多层神经网络,相比于前面的感知机，没有任何的改进。但是如果此时，我们在前面感知机的基础上加上非线性的激活函数之后，输出的结果就不在是一条直线

如上图，右边是sigmoid函数，对感知机的结果,通过sigmoid函数进行处理如果给定合适的参数w和b,就可以得到合适的曲线,能够完成对最开始问题的非线性分割所以激活函数很重要的一个作用就是 增加模型的非线性分割能力
常见的激活函数有:
看图可知:
●sigmoid 只会输出正数，以及靠近0的输出变化率最大
●tanh和sigmoid不同的是，tanh输出可以是负数
●Relu是输入只能大于0,如果你输入含有负数，Relu就不适合，如果你的输入是图片格式，Relu就挺常用的，因为图片的像索值作为输入时取值为[0,255]。
激活函数的作用除了前面说的增加模型的非线性分割能力外，还有

●提高模型鲁棒性
●缓解梯度消失问题
●加速模型收敛等