模式识别学习笔记（11）——线性判别函数

线性判别函数

1.1

用于分类的判别函数的参数形式已知，直接从样本来估计判别函数的参数。

优势：不需要有关概率密度函数的确切的参数形式。因此，属于 无参数估计。

利用样本直接设计分类器

1、方法分类：

线性判别函数、支持向量机、fisher线性判别函数

广义线性判别函数、非线性判别函数、核学习机

2、基本思想：

-步一：给定一个判别函数，且已知该函数的参数形式

-步二：采用样本来训练判别函数的参数

-步三：对于新样本，采用判别函数对其进行决策，并按照一些准则来完成分类

学习判别函数的基本技术路线

-假定有n个d维空间中的样本，每个样本的类别标签已知，且一共有c个不同的类别

-假定判别函数的形式已知，寻找一个判别函数

-对于给定的新样本x，判定它属于哪个类别

基于判别函数的分类器

-采用已知类别标签的训练样本进行学习，获得若干个代数界面，这些界面将样本所在的空间分成若干个相互不重叠的区域。每个区域包含属于同一类的样本。

-表示界面的函数称为判别函数

-判别函数是分类器最常用的表述形式

基于判别函数的判别准则

贝叶斯决策中提到的比如：

线性可分（针对训练样本）

1.2线性判别函数与决策面

g（x）=0定义了一个决策面，它是类w1和w2的分界面，该决策面是一个超平面，位于该平面的任意向量与w垂直，若x1和x2在该平面内，则

1.3 广义线性判别函数

将线性判别函数推广到非线性判别函数。

-一种有效途径是将原来的数据点x通过一种适当的非线性映射将其映射到新的数据点y，这样在新的数据空间里可以运用线性判别函数方法。

在高维中，原本线性不可分的问题可变为线性可分。

1.4感知准则函数

两类可分情形

规范化增广样本：先增广，再规范化。故在d+1维上再乘以-1

r表示坐标原点到到决策面的距离

w指的是法向量，对于a来说，y就是它的法向量

感知准则函数的任务：

参考资料：

中国科学院大学硕士课《模式识别》ppt