浅谈神经网络

浅谈神经网络

1. 神经网络介绍

    人工神经网络从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型,按不同的连接方式组成不同的网络。

    神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。

每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重。

    神经元如下图所示:

浅谈神经网络_第1张图片

    神经元的运算包含两部分,分别是线性运算和非线性运算,线性运算公式如下:

    非线性运算有多重,下面列出最常见的几种:

1、Sigmoid函数

浅谈神经网络_第2张图片

 

2、Relu函数

 

浅谈神经网络_第3张图片

3、Tanh函数

浅谈神经网络_第4张图片

 

2. Logistic回归

logistic回归是一种分类方法,用于两分类问题。其基本思想可以表述为:

  a. 寻找合适的假设函数,即分类函数,用以预测输入数据的判断结果;

  b. 构造代价函数,即损失函数,用以表示预测的输出结果与训练数据的实际类别之间的偏差;

c. 最小化代价函数,从而获取最优的模型参数。

1、线性分类问题

       寻找线性边界,将训练数据按类别进行分割,如下图所示

浅谈神经网络_第5张图片      

2、logistic模型

       采用Sigmoid激活函数,计算公式如下,

       f(x)函数的值表示结果取1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为:

       损失函数

这样构建的函数的特点是:当实际的y=1且也为1时误差为0,当y=1但不为1时误差随着的变小而变大;当实际的y=0且也为0时代价为0,当y=0且不为0 时误差随着的变大而变大。

       实际上,函数和函数是基于最大似然估计推导得到的。

前面的概率公式可简化为:

对应的似然函数为:

对数似然函数为:

  最大似然估计就是要求得使取最大值时的,其实这里可以使用梯度上升法求解,求得的就是要求的最佳参数。

3、梯度下降

       使用梯度下降法求的最小值,的更新过程,其中是学习步长(学习率):

浅谈神经网络_第6张图片

       其中

3.多层神经网络

       如下图所示,是一个多层神经网络(4层),

浅谈神经网络_第7张图片

       下图是一个两层神经网络,神经网络单元的计算分为线性和非线性两部分:

浅谈神经网络_第8张图片

浅谈神经网络_第9张图片

       下图是神经网络的梯度下降过程:

 

浅谈神经网络_第10张图片

       上面的神经网络在输出层采用Sigmoid函数,只有一个输出结果,主要用于二类分类问题,当需要用于多类分类问题时,例如识别手写数字,输出需要包含0-9,共十个输出结果,可以采用SoftMax函数进行扩展。

       SoftMax函数:

   i=1,…,k

       其中,k为目标函数的类别个数,表示输出层的第i个节点。

你可能感兴趣的:(神经网络,人工智能,算法)