《模式识别》学习笔记（三）

前言

《模式识别》学习笔记主要参照哈尔滨工业大学出版社出版的《模式识别（第2版）》一书的内容，主要用于自己复习，如有侵权请速联系。

由于本人先自我学习的《数据挖掘与分析》和《机器学习》，所以在学习《模式识别》之前对此概念没有一个足够的认识，感觉《模式识别》讲述的可能是数据挖掘中的关联规则模式，与《机器学习》中的内容不搭边。但简单翻看一遍后便有了新的感悟，我们在人工智能领域所涉及到的所有项目，其实都可以归结为“模式识别”项目，例如，图像分类，自然语言处理等。而《机器学习》侧重于对数学概念的解析，《模式识别》侧重于整个工程方面的架构解析——前者偏向理论细节，后者偏向实践过程。

在这打一波广告，个人感觉哈工大出版社出版的《模式识别（第二版）》一书写的确实好，主要是读的很舒服，而且书中配套有代码，加深了对概念的理解。

四、线性判别函数分类器

关于本书的这一部分，我感觉没有周志华老师《机器学习》中讲的好，主要原因是哈工大的主编老师们在这一章花费了大量的时间在笛卡尔坐标系下构建特征空间，个人感觉不如在直角坐标下的直观。由于机器学习里对感知机等知识会由详细的讲述，所以就不再这里详述。

五、特征选择与特征提取

实际分类问题的训练样本数量总是有限的，牧师识别研究中将使用少量样本学习复杂分类器的问题形象地称为“维数的诅咒”。

本章将介绍一些在生成特征之后降低特征维数的方法，这些方法可以分为两大类：特征选择和特征提取。

特征选择：

特征选择的目的是要从原始的特征中挑选出对分类最有价值的一组特征，而抛弃掉与分类无关或对区分不同类别贡献很小的特征。

特征提取：

与选择不同，特征提取不是从原始特征中直接挑选出来的，而是依据某种变化得到的。

（一）类别可分型判据

对于模式识别问题来说，一组特征的“价值”体现在使用这组特征构建的分类器是否能够很好地区分不同类别的样本，度量识别特征这种价值的指标一般称为类别可分性依据。

评价一组识别特征对类别是否具有可分性最直接的办法是使用这组特征设计和学习分类器，然后以分类的性能来衡量这组特征的优劣。然而很多分类器的学习算法都比较复杂，计算量较大，而且分类器的性能不仅决定于所使用的特征，也会受到很多其他因素影响。因此人们总是希望在学习分类器之前就能够依据训练样本集来度量特征对类别可分性的贡献，从而完成对特征的选择和提取。

在模式识别的研究过程中提出了很多以训练样本为基础度量特征可分性的方法，本节介绍两类简单和易于实现的类别可分性判别依据：基于距离的判据和基于散布矩阵的判据。

1、基于距离的判据：

（1）类内距离：

类内距离度量的是在特定特征集合X上同类别样本之间的相似程度。计算公式即为第三章的类内距离公式。

（2）类间距离：

类间距离的度量是不同类别样本之间的差异程度。

2、基于散布矩阵的可分性判据

（1）类内散布矩阵。

（2）类间散布矩阵。

（二）特征选择

 1、分支界定法

2、次优搜索法

3、广义顺序前进法

4、l-r法

（三）特征提取

1、主成分分析

2、基于fisher的可行性分析

 

六、非线性判别函数分类器

这一章主要讲述了线性分类器不能解决XOR问题、多层感知机网络，支持向量机的知识点，《机器学习》里会详细讲述，这里也就不再详述了。