人工神经网络ANNs

参考:

  1. Stanford前向传播神经网络Wiki

  2. Stanford后向传播Wiki

  3. 神经网络CSDN blog

  4. 感知器

  5. 线性规划

  6. Logistic回归模型

内容:

  1. ANNs又称连接模型(connection model),它是一种模仿动物神经网络行为特征,进行分布式并行信息处理的数学模型。它是由一系列简单的单元相互密集连接构成的,其中每一个单元有一定数量的实值输入,并产生单一的实数值输出。

  2. m-of-n函数:要使函数输出为真,那么感知器的n个输入中至少有m个必须为真。OR函数相当于m=1,AND函数相当于m=n。

  3. 某种类型的ANN系统是以被称为感知器(perception)的单元为基础的。感知器是以一个实数值向量作为输入,计算这些输入的线性组合,然后如果结果大于某个阈值,就输出1,否则输出-1。

  

  这里-w0就是阈值。这里的学习任务就是权向量的值。

   人工神经网络ANNs_第1张图片

          图1 单输出神经网络

   人工神经网络ANNs_第2张图片

  

  人工神经网络ANNs_第3张图片

              图2 多输出神经网络

   4. 学习任务算法:感知器法则与delta法则。

  感知器法则(前提是训练样例线性可分):为得到可接受的权向量,从随机的权值开始,然后反复地应用这个感知器到每个训练样例,只要它误分类样例就修改感知器的权值。重复这个过程,直到感知器正确分类所有的训练样例。

  

  其中,t是当前训练样例的目标输出,o是感知器的输出,η是一个正的常数称为学习速率(learning rate)。

  delta法则(线性不可分也可以):使用梯度下降(gradient descent)来搜索可能的权向量的假设空间,以找到最佳拟合训练样例的权向量。

  把delta训练法则理解为训练一个无阈值的感知器,也就是一个线性单元,它的输出如下:

  

  假设(权向量)相对于训练样例的训练误差如下:

  

  其中,D是训练样例集合,td是训练样例d的目标输出,od是线性单元对训练样例d的输出。这里的1/2是为了抵消求导后的2。其梯度如下:

  

   当梯度被解释为权空间的一个向量时,它确定了是E最陡峭上升的方向。

  

  5. 单个感知器只能表示线性决策面,而反向传播算法所学习的多层网络能表示非线性曲面。多层网络需要这样一种单元,它的输出是输入的非线性函数,并且输出是输入的可微函数。比如sigmoid单元,它的输出如下:

  人工神经网络ANNs_第4张图片

   误差E如下:

  

  其中,outputs是网络输出单元的集合,tkdokd是与训练样例d和第k个输出单元相关的输出值。

   网络中每个结点被赋予一个序号,这里的“结点”要么是网络的输入,要么是网络中某个单元的输出。

   xji表示结点i到单元j的输入,wji表示对应的权值。

   δn表示与单元n相关联的误差项。

 

  对于网路的每个输出单元k,它的误差项为:

  

  对于网络的每个隐藏单元h,它的误差项为:

  

  权值更新:

  

 

转载于:https://www.cnblogs.com/AmitX-moten/p/6021609.html

你可能感兴趣的:(人工智能)