线性不可分问题

线性不可分问题

线性神经元模型

 

响应函数：线性

作用：拟合—》使所有的点的误差平方和最小（自适应线性拟合）

学习规则

W－H学习规则（ δ学习规则）

采用W—H学习规则可以用来训练一定网络的权值和偏差使之线性地逼近一个函数式而进行模式联想(Pattern Association)。

定义一个线性网络的输出误差函数为：

我们的目的是通过调节权矢量，使E(W，B)达到最小值。

所以在给定E(W，B)后，利用W—H学习规则修正权矢量和偏差矢量，使E(W，B)从误差空间的某一点开始，沿着E(W，B)的斜面向下滑行。

根据梯度下降法，权矢量的修正值正比于当前位置上E(W，B)的梯度，对于第i个输出节点有：

或表示为：

---》误差（Ti:理想输出  ai：模型输出 ）

η为学习速率。在一般的实际运用中，实践表明，η通常取一接近1的数，或取值为：

学习速率的这一取法在神经网络工具箱中用函数maxlinlr.m来实现。上式可表示为：

网络训练

自适应线性元件的网络训练过程可以归纳为以下三个步骤：

1)表达：计算模型的输出矢量A＝W*P十B，以及与期望输出之间的误差E＝T—A；

2)检查：将网络输出误差的平方和与期望误差相比较，如果其值小于期望误差，或训练已达到事先设定的最大训练次数，则停止训练；否则继续；

3)学习：采用W—H学习规则计算新的权值和偏差，并返回到1)。

例题分析

[例2]现在来考虑一个较大的多神经元网络的模式联想的设计问题。输入矢量和目标矢量（理想输出）分别为：

解：由输入矢量和目标输出矢量可得：输入向量个数 r＝3，输出向量个数 s＝4，样本数 q＝4。所以网络的结构如下图所示。

这个问题的求解同样可以采用线性方程组求出，即对每一个输出节点写出输入和输出之间的关系等式。

训练后的网络权值为：

网络训练过程中的误差记录

零误差的唯一精确解为：

与感知器的对比与分析

感知器和自适应线性网络

(1)网络模型结构上

结构上的主要区别在于激活函数：一个是二值型的，一个线性的。

(2)学习算法

感知器的算法是最早提出的可收敛的算法，它的自适应思想被威德罗和霍夫发展成使其误差最小的梯度下降法。最后又在BP算法中得到进一步的推广，它们属于同一类算法。

(3)适用性与局限性

     感知器仅能够进行简单的分类。从前面的例题中已经看出，感知器可以将输入分成两类或四类等。它的局限性是仅能对线性可分的输入进行分类。

     自适应线性网络除了像感知器一样可以进行线性分类外，又多了线性逼近，这仅是由于其激活函数可以连续取值而不同于感知器的仅能取0或1的缘故。