若这些属于ω1和ω2两类的模式可用一个直线方程 d(x)=0 来划分,d(x) = w1x1 + w2x2 + w3 = 0
d(x)称为两类模式的判别函数;d(x)=0 称为决策面/判别界面方程。
要分开 M 类模式,共需 M 个判别函数。每一个判别函数都要把一种类别的模式与其余M-1种类别的模式分开,而不是将一种类别的模式仅与另一种类别的模式分开。
要分开 M 类模式,共需 M(M-1)/2 个判别函数。
该分类的特点是把 M 类情况分成 M-1 个两类问题。
增广向量决定的平面 非增广向量决定的直线
定义一个对错误分类敏感的准则函数J(w, x)。先任选一个初始权向量w(1),计算准则函数J的梯度,然后从w(1)出发,在最陡方向(梯度方向)上移动某一距离得到下一个权向量w(2) 。
设已由前一步迭代得到w(k)的值。 读入模式样本xk,判别wT(k)xk是否大于0。在示意图中,xk界定的判别界面为wT(k)xk=0。当w(k)在判别界面的负区域时, wT(k)xk<0。 校正: w(k+1)= w(k)+ xk ,这里取C=1。 校正后, w(k+1)向量比w(k)向量更接近于模式xk所决定的正区域。
模式分类的判别函数可由分布在模式空间中的许多样本向量的势函数产生。任意一个样本所产生的势函数以K(x,xk)表征,则判别函数d(x)可由势函数序列来构成,序列中的这些势函数相应于在训练过程中输入机器的训练模式样本。在训练状态,模式样本逐个输入分类器,在第k布迭代时的积累位势决定于在该步前所有的单独势函数的累加。以K(x)表示积累位势函数,若加入的训练样本是错误分类,则积累势函数要修改;若正确分类,则不变。
一般来说,若两个n维向量x和xk的函数K(x, xk)同时满足下列三个条件,则可作为势函数
决策树,或称多级分类器,是模式识别中进行分类的一种有效方法,对于多类或多峰分布问题,这种方法尤为方便。
对于一个未知样本x,只要从根节点到叶结点,顺序把x的某个特征观测值与相应的阈值相比较,就可做出决策,把x分到相应的分支,最后分到合适的类别中去。
一个性能良好的决策树结构应该具有小的错误率和低的决策代价。