计算机视觉-神经网络与BP算法

神经网络

定义

大量（结构简单、功能接近）的神经元节点按一定体系架构连接成的网状结构。

作用

• 分类
• 模式识别
• 连续值预测

目标

建立输入与输出的映射关系

神经元模型

定义

每个神经元都是一个结构相似的独立单元，它接受前一层传来的数据，并将这些数据的加权输入非线性作用函数中，最后将非线性作用函数的输出结果传递给后一层。


非线性函数f称为激活函数。

激活函数

上图为两种激活函数，分别为sigmoid函数跟tanh函数。
他们分别能把输入映射为(0,1)和(-1,1)。
另外分别对他们求导有如下特征：


可以简化后面的计算过程。

基础神经网络

一般有输入层，隐含层和输出层。
传统的浅层网络，一般有3-5层。

Delta学习规则

跟后面例子没什么关系，主要在于提示神经网络的调整方式。

前馈神经网络

• 无反馈
• 同层神经元无互相连接

目标函数

梯度下降

梯度计算

1.输出层权重改变量

2.隐藏层权重改变量

误差传播公式

上面yj是单个神经元的输入，配合隐含层计算得上一层的权重。

BP算法

1986年Rumelhart等提出的误差反向传播法，即BP(error BackPropagation)

例子