模式识别 第四 五章 线性分类器 非线性判别函数

---

title: 模式识别 第四 五章 线性分类器 非线性判别函数
date: 2017-03-26 18:47:50
categories: ML/卢晓春 模式识别引论
mathjax: true
tags: [Machine Learning]

---

第四章 线性分类器

线性分类器、广义线性分类器

贝叶斯分类器：最优分类器
线性判别函数产生的错误率或风险可能更大，但实现容易。
准则函数包括：感知准则、最小平方误差准则、最小错分样本数准则、Fisher准则

类内类间等要记住
线性判别函数：c类问题=c个的两类问题
或者 c*（c-1）/2个线性判别式

Fisher线性判别准则

类间大、类内小：

image.png

image.png

感知准则函数

image.png

例子：

image.png

用梯度下降法：

image.png

最小平方误差准则

感知准则函数及其梯度下降法只适用于样本线性可分的情况，对于线性不可分情况，迭代过程永远不会终结，即算法不收敛。
在实际问题中常常无法事先知道样本集是否线性可分，因此希望找到一种既适用于线性可分又适用于线性不可分的算法。
通过这种算法得到的解都统一称为最优解。

image.png

例子：

image.png

最小错分样本数准则

对于不等式w^Tx^i >0，如果有解，可以得到解向量w^*，如果无解，则说明样本集线性不可分，那么对于任何向量w，必然有某些样本被错分，此时我们可以寻找使最多数目的不等式得到满足的权向量，将它作为最优解向量w^*。
上述准则便是最小错分样本数准则的基本思想。

image.png

第五章 非线性判别函数

由于样本在特征空间分布的复杂性，很多情况下采用线性判别函数不能取得满意的效果。
采用分段线性判别或二次函数判别等非线性方法效果会好得多。

分段线性判别函数

image.png

二次判别函数

image.png